在刚刚结束的国际机器学习大会 （ICML） 上，快手与上海交通大学携手推出了一款令人瞩目的多模态生成理解模型——Orthus。这款模型以其自回归 Transformer 架构为基础，能够在图文之间自如转换，展现出前所未有的生成能力，目前已正式开源。
Orthus 的
该模型不仅能处理文本和图像之间的交互关系，还在图像编辑和网页生成等应用中展现出巨大潜力。Orthus 的架构设计非常巧妙，采用了自回归 Transformer 作为主干网络，配备了特定模态的生成头，分别用于生成文本和图像。这种设计有效解耦了图像细节的建模和文本特征的表达，使得 Orthus 能够专注于建模文本和图像之间的复杂关系。
具体来说，Orthus 由多个核心组件构成，包括文本分词器、视觉自编码器以及两个特定模态的嵌入模块。它将文本和图像特征融合到一个统一的表示空间中，让主干网络在处理模态间的依赖关系时更加高效。模型在推理阶段会根据特定的标记，自回归地生成下一个文本 token 或图像特征，展现了极强的灵活性。
通过这些创新设计，Orthus 不仅避免了端到端扩散建模与自回归机制之间的分歧，还减少了图像离散化带来的信息损失。这一模型可以被视为何恺明在图像生成领域的 MAR 工作向多模态领域的成功拓展。
快手与上海交通大学的这一合作，无疑为多模态生成模型的发展带来了新的可能性，值得业界和学界的关注与期待。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
