​Meta AI 发布 MobileLLM-R1：轻量级边缘推理模型，参数不足 10 亿，性能提升显著

MobileLLM-R1 的最大模型为 MobileLLM-R1-950M，采用了一系列架构优化设计: 包括 22 层 Transformer 结构、24 个注意力头和 6 个分组 KV 头。模型的嵌入维度为 1536，隐藏层维度为 6144。此外，模型还采用了分组查询注意力 （GQA） 来减少计算和内存需求，块级权重共享技术降低了参数数量而不显著增加延迟，SwiGLU 激活函数提升了小模型的表示能力。模型支持 4K 的上下文长度和 32K 的后训练模型。

在训练效率方面，MobileLLM-R1 的表现同样引人注目。该模型总共在约 4.2 万亿个 token 上进行训练，相较于 Qwen3 的 0.6B 模型训练的 36 万亿 token，MobileLLM-R1 仅使用了约 11.7% 的数据便达到了或超越了 Qwen3 的准确率。同时，模型在数学、编码和推理数据集上进行了监督微调，从而降低了训练成本和资源需求。

在各项基准测试中，MobileLLM-R1-950M 的表现优异: 在 MATH500 数据集上，其准确率比 OLMo-1.24B 高出约 5 倍，且比 SmolLM2-1.7B 高出约 2 倍。在 GSM8K、AIME 和 LiveCodeBench 等推理和编码任务上，MobileLLM-R1 甚至与 Qwen3-0.6B 相匹配或超越，尽管所使用的 token 数量远少于后者。

不过，MobileLLM-R1 的聚焦也带来了局限性。虽然在数学、编码和结构化推理方面表现强劲，但在一般对话、常识推理和创造性任务上，MobileLLM-R1 的表现较大型模型有所不足。此外，模型在生产环境中的使用受到 FAIRNC（非商业） 许可证的限制，较长的上下文 (32K) 也提高了推理时的 KV 缓存和内存需求。

总的来看，Meta 的 MobileLLM-R1 展现了一个趋势，即朝着更小、更专业化的模型方向发展，能够在不需要大规模训练预算的情况下实现竞争力的推理能力。该模型在数学、编码和科学应用场景中表现尤为突出，为边缘设备上的大规模语言模型部署定义了新的标准。

项目：https://huggingface.co/facebook/MobileLLM-R1-950M

划重点:

🧩**新模型发布**:MetaAI 推出 MobileLLM-R1 系列轻量级边缘推理模型，参数范围从 140M 到 950M。

📊**训练效率**:MobileLLM-R1 仅用约 11.7% 的数据训练，表现出色，训练成本和资源需求显著降低。

💡**性能优势**: 在多项基准测试中，MobileLLM-R1-950M 表现超越多款大型开源模型，尤其在数学和编码任务上。