数字人新物种：EchoMimic让照片开口说话-代码号

Name: EchoMimic
Author: 原创

EchoMimic是由蚂蚁集团支付宝终端技术团队研发的音频驱动肖像动画生成工具，核心技术论文已被AAAI 2025会议收录。这个项目的名字很形象——“Echo”代表回声、音频，“Mimic”代表模仿，合起来就是“让照片跟着声音动起来”。

EchoMimic的核心创新在于“多模态融合”思路。传统的数字人技术分为两派：一派只用音频驱动，虽然操作简单，但有时会因为音频信号弱导致画面不稳定；另一派只用面部关键点驱动，虽然稳定性好，但过度控制会让表情显得生硬。EchoMimic把这两条路合二为一，同时用音频和面部标志点训练模型，既能保证视频稳定，又能让表情自然流畅。

经过一年多的发展，EchoMimic已经进化到第三代。EchoMimic V1主打逼真人头动画，口型同步精度高；EchoMimic V2扩展到半身动画，能生成包括手势在内的上半身动作，支持中文和英文驱动；的EchoMimic V3仅用13亿参数就实现了统一的多模态和多任务人体动画，能把图片、音频、文字提示词结合起来，生成动作丰富、表情自然的数字人视频，单张普通显卡3分钟就能出片。

官网入口地址

EchoMimic项目官网（学术介绍页）：https://badtobest.github.io/echomimic.html
GitHub代码仓库：https://github.com/BadToBest/EchoMimic （V1版本）
GitHub代码仓库：https://github.com/antgroup/echomimic_v2 （V2版本）

下载地址

EchoMimic是开源项目，没有独立的APP，可以通过以下方式获取和使用：

源码下载：从GitHub克隆仓库

git clone https://github.com/BadToBest/EchoMimic.git
# 或克隆V2版本
git clone https://github.com/antgroup/echomimic_v2.git

预训练模型：通过Hugging Face下载

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimic pretrained_weights

Python库安装：通过pip安装
```
pip install echomimic
```
一键整合包：社区提供了免配置环境的整合包，适合普通用户直接使用

功能介绍

EchoMimic经过三个版本的迭代，功能不断完善和扩展，以下是各版本的核心功能汇总。

1. 音频驱动的口型同步（V1核心功能）
这是EchoMimic最基础也最核心的功能。用户上传一张人物正面照片和一段音频（支持中文、英文，甚至歌唱），模型就能让照片中的人物“开口说话”，口型与音频内容精准同步。无论是日常对话还是唱歌场景，都能生成自然流畅的效果。

2. 多模态灵活驱动（V1特色）
EchoMimic支持三种驱动模式，用户可以根据需求自由选择：

纯音频驱动：只用音频文件驱动，操作最简单
纯面部关键点驱动：只用面部标志点驱动，稳定性更高
音频+关键点联合驱动：两者结合，效果最自然，这也是EchoMimic的独门绝技

3. 半身动画生成（V2核心升级）
EchoMimicV2从“仅头部动画”扩展到“完整半身动画” 。它能根据音频内容生成包括面部表情、头部转动、手势动作在内的上半身动画，让数字人更加鲜活生动。比如说到“欢迎”时挥手，说到“看这里”时用手指向屏幕，这些动作都能自然呈现。

4. 音频-姿势动态协调（V2技术突破）
V2版本引入了音频-姿势动态协调策略（APDH），包含两项关键技术：

姿势采样：逐步减少对预设姿势的依赖，让音频在动画中扮演更重要的角色
音频扩散：将音频条件的影响从嘴唇扩散到整个面部，再到全身，增强音频与动画的同步性

5. 多模态融合生成（V3升级）
EchoMimicV3实现了“图片+音频+文字”三种输入的深度融合：

图片：确定数字人的形象，包括发型、服装、面部特征
音频：提供语音节奏和语调信息，驱动口型同步
文字提示词：描述具体的动作要求，如“兴奋地挥手介绍产品”“每读完一个单词就点头”

通过创新的“耦合-解耦注意力机制”，模型能避免三种信息互相干扰，在关键节点融合，生成符合场景逻辑的动画。

6. 轻量化高效推理（V3特色）
EchoMimicV3仅用13亿参数就实现了强大的功能，通过模型量化和异步加载技术，显存占用压缩到10GB以内，普通游戏本（如RTX 4060、RTX 3060）都能流畅运行。生成一段5秒视频只需约3分钟。

7. 多种使用界面
项目提供了丰富的使用方式，满足不同用户需求：

Gradio WebUI：图形化界面，上传文件、点击生成，适合普通用户
命令行工具：适合批量处理和自动化流程
ComfyUI节点：集成到ComfyUI工作流中，适合专业创作者

应用场景

EchoMimic的实用性和易用性使在多个领域都有广阔的应用前景。

虚拟主播与直播带货：商家可以用一张虚拟人照片和一段产品介绍音频，快速生成带货视频。有商家反馈，以前找真人主播拍一条视频要500元，现在用EchoMimic，1个人1天能做20条视频，成本降为0 。
在线教育与培训：英语老师可以制作虚拟教师讲解视频，教师说台词时眼神盯着镜头，学生说话时自然点头，提到关键词时做手势，比传统PPT讲解更能吸引学生注意力。
视频内容创作：短视频创作者可以用EchoMimic快速生成角色对话场景，无需真人出镜，大大降低拍摄成本。B站、抖音上有不少UP主用EchoMimic制作科普视频、故事解说。
影视高效预演：独立导演想给短片加虚拟角色时，用EchoMimic上传角色设计图和配音，几分钟就能看到动态效果，不用等专业团队做3D建模。
游戏角色动画：游戏开发者可以用EchoMimic快速生成NPC（非玩家角色）的对话动画，提升游戏沉浸感。
虚拟客服与导览：博物馆、商场可以用EchoMimic制作虚拟导览员，游客扫码就能看到数字人介绍展品或店铺。