字节跳动旗下 PICO-MR 团队正式开源了**EX-4D**，一款突破性的 4D 视频生成框架。这款工具能够从单一视角 （单目） 视频生成高质量、多视角的 4D 视频序列 (3D 空间+时间维度)，标志着视频生成技术迈向了新的里程碑。EX-4D 不仅在技术指标上超越现有开源方法，还为沉浸式 3D 内容创作和 「世界模型」 构建提供了关键支持。以下是 AIbase 对这一前沿技术的深入解读。
**技术突破: 从单目视频到自由视角**
传统视频生成技术在多视角生成方面面临两大挑战: 一是需要昂贵的多视角相机和数据集进行训练; 二是难以处理遮挡区域，导致生成的视频在极端视角下出现物体穿帮或细节失真。EX-4D 通过创新的**深度密闭网格 （DW-Mesh）**表示和轻量级适配架构，成功解决了这些问题。
DW-Mesh 是 EX-4D 的核心技术，它通过构建全密闭网格结构，记录场景中的可见和隐形面片，无需多视角监督即可统一处理复杂场景拓扑。结合预训练深度预测模型，EX-4D 将单帧像素投影到 3D 空间，形成网格顶点，并根据几何关系精准标记遮挡区域。这种方法确保了生成视频在极端视角 （如±90°） 下仍能保持物理一致性和细节完整性。
此外，EX-4D 引入了两种模拟 mask 生成策略——**渲染 mask**和**跟踪 mask**，通过模拟视角移动和帧间一致性，破解了多视角训练数据的稀缺难题。这些策略使 EX-4D 仅凭单目视频即可 「脑补」 全视角数据，极大降低了数据采集成本。
**性能表现: 指标全面领先**
EX-4D 在性能测试中展现了卓越表现。基于包含 150 个网络视频的数据集，EX-4D 在**FID（弗雷歇距离）**、**FVD(弗雷歇视频距离)**和**VBench**等行业标准指标上全面超越现有开源方法。尤其在极端视角 (如接近 90°) 的生成任务中，EX-4D 的性能优势尤为明显，生成的视频在物体细节和遮挡逻辑上表现更为真实。
在一项由 50 位志愿者参与的主观评估中，70.7% 的参与者认为 EX-4D 在极端视角下的物理一致性远超其他开源方法。这表明 EX-4D 不仅在技术指标上领先，也在实际应用中获得了用户的高度认可。
字节跳动将 EX-4D 完全开源，代码和相关文档已发布在 GitHub 上，为全球开发者提供了免费访问的机会。这一举措不仅体现了字节跳动对开源社区的贡献，也为沉浸式 3D 电影、虚拟现实 （VR）、增强现实 (AR) 等领域的创新应用奠定了基础。
EX-4D 基于预训练的 WAN-2.1 模型，结合**LoRA-basedAdapter**架构，在保持计算效率的同时，融入了 DW-Mesh 的几何先验信息，确保生成视频的几何一致性和帧间连贯性。这种轻量级设计使得 EX-4D 在资源受限的环境下也能高效运行，适合广泛的开发场景。
EX-4D 的发布被视为构建 「世界模型」 的重要进展。相比传统的单向视频生成模型，EX-4D 赋予了用户自由探索视频内容的能力，类似在 「平行宇宙」 中切换视角。这种相机可控的 4D 生成技术为沉浸式内容创作提供了无限可能，例如交互式 3D 电影、虚拟旅游和游戏开发。
字节跳动 PICO-MR 团队负责人表示，EX-4D 是团队在 3D 重建与 4D 场景生成领域多年研究的结晶，未来将继续优化模型性能，探索更广泛的应用场景。AIbase 认为，EX-4D 的开源将加速 AI 视频生成技术的普及，推动多模态 AI 在创意产业中的落地。
网站：https://github.com/tau-yihouxiang/EX-4D
