一、EMO
1. 概述
EMO:EmotePortraitAlive是由阿里巴巴的HumanAIGC团队开发的一种新型生成式AI模型。该模型能够生成具有丰富面部表情和头部姿势的声音肖像视频，输入一张参考图像和声音音频，就可以生成相应的视频内容。该模型不仅能生成说话视频，还能生成各种风格的歌唱视频，无论是在表现力还是真实感方面都显著优于现有先进方法。
2. 核心技术
EMO的整体框架与DiffusionTalk和DiffusionHead类似，都是利用Diffusion来生成，也是根据一个参考图像来逐帧生成图片，最后得到视频。但是，EMO的工作过程分为两个主要阶段：首先，利用参考网络（ReferenceNet）从参考图像和动作帧中提取特征；然后，利用预训练的音频编码器处理声音并嵌入，再结合多帧噪声和面部区域掩码来生成视频。此外，EMO还采用了两种形式的注意力机制：参考注意力和音频注意力，以及时间模块，以调节角色的动作并与音频信号相匹配。
3. 性能与优势
EMO能够生成与输入音频同步且在表情和头部姿势上富有表现力的肖像视频，超越了传统技术的限制，创造出更加自然和逼真的动画效果。它的出现解决了在说话头部视频生成中增强现实性和表现力的挑战，传统技术往往无法捕捉人类表情的全部范围和个人面部风格的独特性。EMO通过直接的音频到视频合成方法， bypassing the need for intermediate 3D models or facial landmarks，从而提高了生成视频的质量和真实性。
4. 应用领域
EMO技术不限于特定语言或音乐风格，能够处理多种语言的音频输入，并且支持多样化的肖像风格，包括历史人物、绘画作品、3D模型和AI生成内容等。它能够实现不同演员之间的表现转换，使得一位演员的虚拟形象能够模仿另一位演员或声音的特定表演，拓展了角色描绘的多样性和应用场景。
5. 开发团队
EMO是由阿里巴巴智能计算研究院的四位研究员Linrui Tian、Qi Wang、Bang Zha共同开发的。
6. 开源状态
关于开源状态，搜索结果中并未明确提及。但在搜索结果中提到，虽然HumanAIGC团队已经有一段时间没有开源代码了，但技术方向还是值得一看的。
