Hugging Face 重磅开源 SmolLM3：3B 参数小模型媲美 4B 巨头，128K 上下文引领高效 AI 新风潮！

地址：https://huggingface.co/blog/smollm3

3B 参数，性能直逼 4B 模型

SmolLM3 是一款 3B 参数的解码器专用 Transformer 模型，采用分组查询注意力 （GQA） 和 NoPE 技术优化，兼顾高效推理和长上下文处理能力。模型在 11.2 万亿 token 的多样化数据集上进行预训练，涵盖网页、代码、数学和推理数据，确保其在知识、推理、数学和编码等领域的强大表现。根据官方披露，SmolLM3 在 HellaSwag、ARC、BoolQ 等知识与推理基准测试中名列前茅，与 4B 参数模型如 Qwen3-4B 和 Gemma3-4B 相比毫不逊色，展现了小模型的惊人潜力。

双模式推理，灵活应对多样任务

SmolLM3 引入了独特的双模式推理功能，支持 「思考」（think） 和 「非思考」(no-think) 两种模式。在开启思考模式后，模型在复杂任务如 AIME2025(36.7%vs9.3%)、LiveCodeBench(30.0%vs15.2%) 和 GPQADiamond(41.7%vs35.7%) 等测试中表现出显著提升。这种灵活的推理模式使其能够根据任务需求动态调整，兼顾速度与深度推理，满足从快速问答到复杂问题求解的多种场景。

支持 128K 上下文，六种语言无缝切换

SmolLM3 在长上下文处理上表现卓越，训练时支持 64K 上下文，并通过 YaRN 技术可扩展至 128Ktoken，在 Ruler64k 测试中展现了强大的长序列处理能力。此外，模型原生支持六种语言 （英语、法语、西班牙语、德语、意大利语、葡萄牙语），并在阿拉伯语、汉语和俄语上进行了少量训练，展现出多语言任务的优异性能。在 GlobalMMLU、Flores-200 等测试中，SmolLM3 的多语言能力位居同级别模型前列，为全球化应用场景提供了可靠支持。

完全开源，赋能开发者生态

HuggingFace 一贯秉持开源精神，SmolLM3 不仅公开了模型权重，还完整开源了训练数据混合、训练配置和代码，开发者可通过 HuggingFace 的 smollm 存储库获取详细资料。这种透明的 「训练蓝图」 极大降低了学术研究和商业应用的门槛，允许开发者基于公开数据集和框架复现或优化模型。AIbase 认为，这一举措将进一步推动开源 AI 生态的繁荣，为边缘设备部署和定制化应用提供更多可能性。

高效设计，边缘设备新选择

SmolLM3 专为高效推理设计，采用分组查询注意力机制显著减少推理时的 KV 缓存占用，结合 WebGPU 支持，使其非常适合在浏览器或边缘设备上运行。相较于更大规模的模型，SmolLM3 在性能与计算成本之间找到 「帕累托最优」 平衡点，为教育、编码、客户支持等场景提供了高性价比的解决方案。

行业影响与未来展望

SmolLM3 的发布标志着小规模语言模型在性能与效率上的重大突破。其开源特性、长上下文支持和多语言能力使其成为学术研究、初创公司和中小型企业的理想选择。AIbase 预计，SmolLM3 将在教育、客户服务和本地化部署等领域掀起应用热潮，同时其完全开源的训练流程也将激励更多开发者参与到 AI 模型的优化与创新中。

SmolLM3 以 3B 参数实现媲美 4B 模型的性能，展现了小模型在高效 AI 领域的无限潜力。HuggingFace 通过开源训练细节和数据，为行业树立了透明与协作的典范。我们期待 SmolLM3 在更多实际场景中的应用表现，并将持续关注其后续更新。

结语

SmolLM3 的推出不仅证明了 「小型模型，大能量」 的可能性，也为开源 AI 社区注入了新的活力。无论是开发者还是企业用户，这款高效、多功能的模型都值得一试。