字节跳动发布端到端同声传译模型 Seed LiveInterpret 2.0

字节跳动 Seed 团队正式对外发布其最新研发成果——SeedLiveInterpret2.0 端到端同声传译。这一模型的发布标志着机器同声传译技术取得了重大突破,其翻译准确率接近专业同传译员水平,且延迟时间极低,仅需 3 秒,同时还具备实时声音复刻功能,能够以说话者的音色输出翻译后的语音,极大地提升了跨语言交流的自然度和流畅性。

同声传译一直被视为翻译领域的巅峰技能,它要求译者在极短时间内完成语言转换,边听边说,对翻译技术研究者来说极具挑战性。SeedLiveInterpret2.0 的出现,不仅在中英同传翻译质量上达到了业界顶尖水平 (SOTA),更实现了极低的语音延迟,为同声传译领域带来了新的技术标杆。

SeedLiveInterpret2.0 基于全双工端到端语音生成理解框架,支持中英互译,并可实时处理多人语音输入,像人类同传译员一样以极低的延迟 「边听边说」,一边接收源语言语音输入,一边直接输出目标语言的翻译语音。此外,该模型还支持零样本声音复刻,无需提前采集声音样本,仅通过实时对话即可合成 「原声」 语音翻译,让沟通更加流畅自然。

在测试中,SeedLiveInterpret2.0 展示了其强大的能力。面对 40 秒的大段中文表达,该模型能够低延迟地丝滑输出同款音色的英语翻译。不仅如此,它还能快速学习音色,无论是 《西游记》 里的猪八戒,还是 《红楼梦》 中的林黛玉,即便此前未 「听」 过角色的声音,依然能通过实时交互进行现场演绎。

相比传统机器同传系统,SeedLiveInterpret2.0 在多个方面展现出显著优势。首先,它具备接近真人同传的翻译准确率,精准的语音理解能力保障了翻译准确度,在多人会议等复杂场景中英双向翻译准确率超 70%,单人演讲翻译准确率超 80%,接近真人专业同传水平。其次,其极低延迟的 「边听边说」 能力采用全双工语音理解生成框架,翻译延迟可低至 2-3 秒,较传统机器同传系统降低超 60%,实现了真正的 「边听边说」 翻译。此外,零样本声音复刻功能让模型能够以说话人的音色特质实时 「说出」 外语,提升交流的沉浸感和亲和力。最后,该模型还能智能平衡翻译质量、延迟和语音输出节奏,根据语音清晰度、流畅度、复杂程度,调整输出节奏,并适配不同语言特性,即使面对超长信息,也能保证传译语音节奏的自然流畅。

在专业人工评测中,SeedLiveInterpret2.0 的表现尤为突出。评测基于 RealSI 数据集,这是一个包含中英双向各 10 个领域的公开测试集。人工评测团队以传达有效信息的占比 (ValidInformationProportion) 为指标,在中英方向上测试了包括 SeedLiveInterpret2.0 在内的多个业界领先的同传系统。评测结果显示,在语音到文本的同传任务中,SeedLiveInterpret2.0 中英互译平均翻译质量的人类评分达到 74.8(满分 100,评估译文准确率),较排名第二的基准系统 (47.3 分) 超出 58%。在语音到语音中英同传任务中,仅 3 个测评的翻译系统支持该能力,其中 SeedLiveInterpret2.0 中英互译平均翻译质量达到 66.3 分 (满分 100,除评估译文准确率,还评估语音输出时延、语速、发音、流畅性等指标),远超其他基准系统,达到接近专业真人同传的水平。同时,大部分基准系统也不支持声音复刻功能。

在延迟表现上,SeedLiveInterpret2.0 在语音到文本场景中,输出首字平均延迟仅 2.21 秒,在语音到语音场景中,输出延时仅 2.53 秒,做到了对翻译质量以及时延的均衡。

技术报告:

https://arxiv.org/pdf/2507.17527

项目主页:

https://seed.bytedance.com/seed_liveinterpret

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给 TA 打赏
共 {{data.count}} 人
人已打赏
AI 资讯

Openjourney:MidJourney 的开源替代品,融合 Google AI 强大能力

2025-7-25 1:20:59

AI 资讯

秘塔搜索 API 正式上线,低至 3 分钱的高效搜索服务

2025-7-25 1:21:04

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索