近日，月之暗面发布了一个颇具革命性的技术——「KimiLinear」 混合线性注意力架构。该架构被认为在短距离、长距离处理以及强化学习 （RL） 等多个场景中，优于传统的全注意力方法。其核心创新在于 「KimiDeltaAttention」(KDA)，这是对 GatedDeltaNet 的优化升级，引入了更高效的门控机制，以提升有限状态 RNN(递归神经网络) 记忆的使用效率。
KimiLinear 的架构设计独特，由三份 KimiDeltaAttention 和一份全局 MLA（多层感知机） 组成。通过对 GatedDeltaNet 的改良，KDA 能通过细粒度的门控机制，显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速度，还有效减少了内存占用，具有更强的实用性。
官方数据显示，在处理 1Mtoken 的场景下，KimiLinear 的 KVcache 占用量减少了 75%，解码吞吐量
随着人工智能的迅速发展，提升模型的处理能力与效率成为了行业内的关键挑战。月之暗面的 KimiLinear 架构通过其创新设计，为这一领域带来了新的解决方案，未来可能会成为新的行业标杆。
KimiLinear 技术报告的详细信息，可以通过官方的 GitHub 页面获取，感兴趣的读者可以深入了解其技术细节。
技术报告:https://github.com/MoonshotAI/Kimi-Linear/blob/master/tech_report.pdf
