近年来，大型语言模型（LLM） 的快速发展推动了人工智能技术的边界，特别是在开源领域，模型架构的创新成为业界关注的焦点。AIbase 综合近期网络信息，深入剖析了 Llama3.2、Qwen3-4B、SmolLM3-3B、DeepSeek-V3、Qwen3-235B-A22B 以及 Kimi-K2 等主流开源大模型的架构特点与技术差异，为读者呈现 2025 年 LLM 领域的
MoE 架构崛起:DeepSeek-V3 与 Qwen3 的较量
在 2025 年的开源大模型领域，混合专家模型 （MoE） 成为技术创新的热点。DeepSeek-V3 以其 6710 亿总参数和 370 亿激活参数的 MoE 架构备受瞩目，其特点是在每个 Transformer 层 (除前三层外) 均使用 MoE 层，配备 9 个活跃专家 (每个专家隐藏层大小 2048)，并保留共享专家以提升训练稳定性。与之相比，Qwen3-235B-A22B 同样采用 MoE 架构，拥有 2350 亿总参数和 220 亿激活参数，但其设计选择放弃了共享专家，转而使用 8 个专家 (较 Qwen2.5-MoE 的 2 个专家大幅增加)。AIbase 注意到，Qwen3 团队未公开解释放弃共享专家的原因，但推测可能是因为在 8 专家配置下，训练稳定性已足够，无需额外计算成本。
DeepSeek-V3 与 Qwen3-235B-A22B 的架构高度相似，但细微差异显示出开发团队在性能与效率平衡上的不同考量。例如，DeepSeek-V3 在推理速度上表现优异 （约 50token/s），而 Qwen3 在输出结构化方面更胜一筹，尤其在编码和数学任务中表现出色。这表明 MoE 架构的灵活性为开发者提供了根据任务需求优化模型的空间。
中小型模型的突破:SmolLM3-3B 与 Qwen3-4B
在中小型模型领域，SmolLM3-3B 和 Qwen3-4B 以其高效性能受到关注。SmolLM3-3B 采用了解码器式 Transformer 架构，配备分组查询注意力 （GQA） 和无位置编码 (NoPE) 设计，预训练数据量高达 11.2 万亿 token，涵盖网络、代码、数学和推理数据。其独特的 NoPE 设计源自 2023 年的一项研究，旨在去除传统位置编码 (如 RoPE)，以提升长序列泛化能力。尽管 SmolLM3-3B 在参数规模上介于 Qwen3-1.7B 与 4B 之间，但其在 3B-4B 规模模型中的性能表现突出，尤其在多语言支持 (6 种语言) 和长上下文处理方面。
Qwen3-4B 则以其 32，768token 的上下文长度和 36 层 Transformer 架构，展现了在轻量级部署中的强大潜力。Qwen3-4B 在预训练中使用了约 36 万亿 token 的数据集 （较 Qwen2.5 增加一倍），并通过四阶段训练流水线优化了推理和编码能力。AIbase 观察到，Qwen3-4B 在 STEM、编码和推理任务中甚至超越了参数量更大的 Qwen2.5 模型，展现了中小型模型在效率和性能上的巨大潜力。
Llama3.2 与 Kimi-K2: 经典与创新的碰撞
Llama3.2（3B 参数） 延续了 MetaAI 的经典设计，采用交替 MoE 和密集层的混合架构，配备 2 个活跃专家 (每个专家隐藏层大小 8192)。与 DeepSeek-V3 的 9 专家设计相比，Llama3.2 的专家数量较少但规模更大，显示出其在计算资源分配上的保守策略。AIbase 注意到，Llama3.2 在信息检索和创意写作任务中表现优异，但在复杂推理任务中略逊于 Qwen3 和 DeepSeek-V3。
Kimi-K2 则以其 1 万亿总参数和 320 亿激活参数的 MoE 架构成为开源领域的 「巨无霸」。其在自主编程、工具调用和数学推理任务中表现出色，部分指标甚至超越 DeepSeek-V3。Kimi-K2 的开源策略 （Apache2.0 许可证） 使其成为开发者和研究者的热门选择，尽管其部署对硬件要求较高。AIbase 认为，Kimi-K2 的出现进一步推动了 MoE 架构在大规模模型中的应用，标志着开源 LLM 向更高性能和更低推理成本的方向迈进。
技术趋势与未来展望
AIbase 分析认为，2025 年的开源 LLM 呈现出以下趋势: 首先，MoE 架构因其高效的参数利用率和推理速度优势，正在取代传统密集模型; 其次，中小型模型通过优化训练数据和架构设计，实现了接近大型模型的性能; 最后，创新技术如 NoPE 和长上下文处理能力的提升，正在为 LLM 的多模态和多语言应用铺平道路。
尽管各模型在架构上存在细微差异，例如专家数量、位置编码方式和训练数据规模，但这些差异对最终性能的影响仍需进一步研究。AIbase 建议，开发者在选择模型时应根据具体任务需求权衡性能、推理成本和部署难度。例如，追求推理速度的用户可选择 DeepSeek-V3，而注重输出质量和多任务能力的用户则可优先考虑 Qwen3-235B-A22B。
开源 LLM 的黄金时代
从 Llama3.2 的稳健设计到 Kimi-K2 的极限 MoE 架构，开源大模型在 2025 年迎来了技术与应用的双重突破。AIbase 相信，随着开源社区的持续贡献和硬件技术的进步，LLM 的架构创新将进一步降低 AI 开发门槛，为全球用户带来更多智能化解决方案。未来，AIbase 将继续跟踪开源 LLM 的
