近日，Character AI与耶鲁大学的研究团队联合推出了一种名为Ovi的新型视听同步视频生成技术。这个开源项目标志着音视频生成技术的重大突破，打破了传统的视听制作方式。
欧维采用创新的双骨干跨模态融合架构，将音视频视为一个不可分割的整体。在这个系统中，音视频的处理是并行的，它们之间有深度的交互，实现了音视频的完美同步。这种设计理念彻底改变了以往先生成图像后添加声音或反之亦然的做法，解决了视听不同步的问题。
在 Ovi 的架构中，有两个相同的分支，每个分支负责处理视频和音频。这两个分支使用相同的扩散变压器架构，允许音频和视频在生成过程中直接交互，消除了不必要的参数和计算开销。这种实时的信息交换使Ovi能够准确地学习音频和视频之间的对应关系，例如嘴唇动作和发音之间的精确匹配。
为了确保音频和视频之间的精确时间对齐，Ovi 引入了一种称为旋转位置嵌入的技术。通过数学缩放，将音频和视频的时间步长完美匹配，确保它们在生成过程中同步出现。此外，Ovi 在处理用户输入时使用统一的文本提示策略，以提高生成结果的准确性和丰富性。
在数据集构建方面，Ovi团队设计了复杂的处理工作流程，以确保训练数据的多样性和高质量。他们将音频-视频对的数据集与纯音频数据集相结合，为模型提供了全面的学习基础。这种严格的训练方式为奥维的成功奠定了坚实的基础。
