在2月28日，阿里巴巴智能计算研究所震撼发布了全新的生成式AI模型——EMO（Emote Portrait Alive）。这款前沿科技突破之作，仅需一张人物肖像照片和一段音频输入，即可实现照片中人物栩栩如生地“开口”唱歌、讲话，其口型与音频高度同步，面部表情及头部动作更是展现出了令人惊叹的自然流畅度。
    EMO的强大之处不仅限于生成歌唱或说话视频，它还具备一项核心特性：在保持角色身份特征稳定性的基础上，能根据输入音频时长自适应地生成相应长度的视频。通过以下实例视频可见一斑：
    1. 角色：张颂文饰演的高启强；声乐来源：法律考试在线课程
    2. 角色：Audrey Hepburn；声乐来源：Ed Sheeran - Perfect (Samantha Harvey翻唱版)
    3. 角色：SORA的AI Lady；声乐来源：Where We Go From Here with OpenAI's Mira Murati
    4. 角色：蔡徐坤；声乐来源：Eminem - Rap God
    5. 角色：张国荣；声乐来源：陈奕迅 - Unconditional粤语版 (AI翻唱)
    EMO的工作流程分两步走，首先运用ReferenceNet从参考图像和动作帧提取关键特征信息，紧接着利用预训练的音频编码器处理声音并嵌入，同时结合多帧噪声与面部区域掩码技术生成逼真的视频。该框架创新融合了双重注意力机制和时间模块，确保生成视频中角色身份的一致性和动作过渡的自然平滑。
    简而言之，就像AI先细致观察照片，然后聆听声音，再逐帧绘制出视频中形象生动的变化画面。
    实验结果证实，EMO的表现力和真实性远超当前同类先进方法DreamTalk、Wav2Lip和SadTalker，无论是在说话视频还是歌唱视频的生成上，均展现出卓越效果。
    尽管研究团队预见EMO将大力提升数字媒体和虚拟制作的技术水平，特别是在追求极致真实感和表现力的场景应用中，但也不乏担忧之声指出，这一模型可能成为恶意使用者手中的工具。
    随着AI生成视频技术日益发展，潜在的风险也日益凸显。如同EMO这类技术，在技术报告中对滥用可能性的讨论相对较少，但实际上基于深度学习和生成模型的技术确实存在被用于制造虚假、侵犯隐私权和个人形象权等风险。
    以近期的Taylor Swift色情图片深度伪造事件为例，AI生成的伪造图片在社交媒体平台上迅速传播，引发了社会对于DeepFake技术滥用问题的高度关注。同样，DeepFake技术也在政治斗争领域造成了一定程度的混乱和误导。
    面对此类挑战，科研人员和开发者必须充分意识到潜在风险，并采取有效措施来减轻风险，例如添加水印和制定严格使用准则。目前，针对深度伪造检测的研究和应对手段正在快速推进，包括运用机器学习和深度学习技术构建检测分类系统，以及各大科技巨头推出实时检测工具，如Intel的FakeCatcher和Google的Assembler平台。
    而阿里巴巴的EMO模型则凭借超过250小时的丰富视频数据集和超过1.5亿张图像进行训练，涵盖了多语言、多种表达风格的。其独特的架构设计采用了类似Stable Diffusion的UNet结构，结合时间模块实现了直接从音频到视频的高效合成，并且在保持身份一致性、无缝帧过渡、捕捉复杂表情变化等方面表现出色。
    总之，EMO模型通过深度融合音频信号、参考图像及时间信息，成功打破了传统技术瓶颈，创造出与输入音频完美同步、表情细腻丰富的动态肖像视频，为人工智能在视觉生成领域的探索开启了新的篇章。然而，在科技进步的同时，如何有效规避DeepFake带来的风险，保障个人隐私和社会秩序，仍然是我们亟待解决的重要课题。