AniPortrait

详情介绍

在数字内容爆发式增长的今天，如何低成本、高效率地生成逼真的虚拟人视频，成为创作者们关注的焦点。AniPortrait 的出现，恰好解决了这一痛点。这个由腾讯游戏智迹团队研发的开源框架，能够在短短几分钟内，将一张普通的肖像照片转化为与音频同步的动态视频。

AniPortrait 的核心技术分为两个阶段：是“音频到2D面部标记点”模块，它从输入的音频中提取语音特征，生成对应的面部表情和头部姿态的3D网格信息；是“2D面部标记点到视频”模块，利用强大的扩散模型和运动模块，将这些面部特征转化为高分辨率、时间连贯的逼真动画。整个过程不仅实现了口型的精准对齐，还能捕捉到眨眼、挑眉等细微表情变化。

值得一提的是，AniPortrait 还支持“面部重现”功能，即可以将一段源视频中的人物表情和动作，迁移到另一张肖像照片上，实现“换脸”级别的动画效果。项目开源，支持本地部署，用户可以根据自己的硬件条件自由调整生成参数，真正做到了技术平权。

官网入口地址：

https://github.com/Zejun-Yang/AniPortrait

下载地址：

项目代码托管在GitHub上，克隆地址为：https://github.com/Zejun-Yang/AniPortrait.git。你可以通过Git命令下载完整项目，也可以直接下载ZIP压缩包。预训练模型权重需要单独下载并放置在 pretrained_weights/ 目录下。

功能介绍：

AniPortrait 的功能设计围绕“让人像动起来”这一核心目标展开，主要包含以下三大核心功能：

1. 音频驱动的动画生成：这是项目的王牌功能。用户只需提供一张清晰的人像照片（是正面照）和一段音频文件（可以是语音、歌声或任何声音），系统就能自动分析音频中的节奏、音调和情感，生成与之匹配的面部动画。无论是说话时的口型变化，还是唱歌时的情绪表达，都能得到精准还原。

2. 面部重现功能：通过 vid2vid.py 脚本实现，这项功能允许用户用一个视频来驱动另一张静态照片。你可以录制自己说话的短视频，然后用它来驱动一张历史人物的照片，实现“跨时空对话”。系统会提取源视频中的面部动作和表情，迁移到目标人像上。

3. 头部姿态控制：用户可以通过调整配置文件或提供姿态模板，控制生成视频中人物的头部运动。比如设置点头、摇头或自然的头部摆动，让动画看起来更加真实自然，避免“僵尸脸”般的僵硬感。

4. 高分辨率输出：结合 Stable Diffusion 1.5 等预训练模型，AniPortrait 能够生成高清晰度、细节丰富的动态影像，人物皮肤纹理、头发细节都能得到较好保留。

5. 灵活的模型配置：项目支持多种预训练模型的组合，用户可以根据自己的硬件配置和效果需求，调整模型权重和参数，在生成速度和质量之间找到平衡点。

应用场景：

AniPortrait 的轻量级和高品质特性，使在多个领域都有广阔的应用空间：

• 短视频内容创作：创作者可以快速生成“照片说话”类短视频，用于社交媒体互动、历史人物科普或趣味内容制作，制作时间从传统方法的数小时缩短到10分钟以内。

• 虚拟偶像与直播：为虚拟形象赋予生动的表情和口型，让虚拟主播、虚拟偶像在直播中能与观众进行更自然的互动。

• 语言教学与口型演示：在语言学习应用中，用教材插图配合标准发音音频，生成口型动画，帮助学习者更直观地掌握发音技巧。

• 影视前期预览：导演和动画师可以用静态概念图快速生成动态小样，预览角色表情和动作，辅助创作决策。

• 数字遗产与家庭纪念：让家人的老照片“活起来”，配合他们生前的录音，创造有温度的纪念视频。

补充信息：

• 定价：AniPortrait 项目本身是免费且开源的，遵循开源许可证。用户可以在本地无限次使用，无需支付任何费用。但如果通过 Hugging Face 的在线演示使用，由于是共享计算资源，会有使用时长和次数限制。

• 在线体验：官方在 Hugging Face 提供了在线演示地址：https://huggingface.co/spaces/ZJYang/AniPortrait_official 用户可以在上传照片和音频，快速体验效果，但受限于平台资源，生成视频最长只能到3秒。

• 社区生态：目前已有开发者将 AniPortrait 集成到 ComfyUI 等流行 AI 绘画工具中，形成了插件版本，进一步降低了使用门槛。

AniPortrait常见问题