小模型,大能量:Ring-mini-2.0 正式发布
今天,我们迎来了一款令人振奋的新模型——Ring-mini-2.0的正式发布。这款模型基于Ling-mini-2.0架构深度优化,是一款高性能的MoE(Mixture of Experts)推理模型,以小巧的激活参数实现了惊人的推理能力。
尽管其总参数量高达16B,但在实际运行中,仅需激活1.4B参数,就能达到10B级别以下密集模型的推理表现。这种“以小博大”的能力,让它在推理任务中展现出极高的效率与潜力。
性能飞跃:推理、编程、数学样样精通
Ring-mini-2.0在多个关键任务中表现亮眼,尤其在逻辑推理、编程和数学问题求解方面,具备极强的稳定性和泛化能力。它支持128K的长上下文输入,这意味着它能处理更复杂、更长的输入信息,适用于多种高难度应用场景。
在生成速度方面也毫不逊色,初始生成速度可达300+ token/s,经过优化后甚至能突破500+ token/s,大大提升了实际部署的效率。
深度优化:从训练策略到架构设计
为了提升推理能力,Ring-mini-2.0在Ling-mini-2.0-base的基础上,引入了Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化策略,使得模型在面对复杂推理任务时更加稳定和高效。
不仅如此,Ring-mini-2.0还通过1/32的专家激活比与MTP层架构优化,实现了相当于7-8B密集模型的等效性能。这种高稀疏度设计,配合Expert Dual Streaming技术,显著降低了推理成本,使其在H20硬件环境下也能保持高速表现。
开源共享:推动技术进步
为了让更多研究者和开发者受益,Ring-mini-2.0的模型权重、训练策略和数据配方将全面开源。我们希望这款“小而优”的模型,能成为推理型模型的新标杆,助力学术界和工业界共同推动AI技术的发展。
你可以在我们的开源仓库中下载模型并立即上手体验。
展望未来:更大、更快、更强
Ring-mini-2.0的发布只是开始。依托Ling2.0架构,我们将持续推出性能更强大的语言模型和全模态模型。敬请期待,我们正在为AI的未来加速前行!