DreaMoving

详情介绍

作为阿里在AI视频生成领域的重要创新，DreaMoving解决了传统视频制作中需要专业设备和复杂后期处理的难题，让普通用户也能轻松创作出专业级的舞蹈视频。

01 产品介绍

DreaMoving由阿里巴巴通义实验室研发，是一款专注于人类舞蹈视频生成的AI框架。

该工具基于扩散模型构建，通过创新的视频控制网络和内容引导器技术，实现了对视频内容的高度控制。

自2023年12月开放Demo试用以来，DreaMoving就受到了广泛关注。 它能够生成1080P分辨率、30fps流畅帧率的影视级视频，支持无缝循环动作生成，为用户提供了专业级的视频创作体验。

DreaMoving的核心优势在于其精准的身份保持能力和动作控制精度，跨帧面部特征一致性达到98%，在行业内处于领先水平。

02 官网入口地址

官方网站：https://dreamoving.github.io/dreamoving/

在线演示地址：https://www.modelscope.cn/studios/vigen/video_generation/summary

开源项目地址：相关代码和资源已在GitHub平台开源

03 功能特点

DreaMoving的功能设计全面覆盖了舞蹈视频生成的各个环节，其主要特点包括：

精准动作控制是DreaMoving的核心功能，通过视频控制网络实现。 用户可以输入骨骼关键点或深度图序列，生成连贯的人物动作。

系统能够精确还原各种舞蹈风格和动作细节，确保生成的动作自然流畅，动作自然度甚至超越了部分国际知名产品。

身份保持能力是DreaMoving的另一大亮点。 通过内容引导器技术，系统能够在整个视频生成过程中保持目标身份的一致性。

无论是面部特征、肤色还是着装风格，都能在生成的视频中得到准确保留，跨帧面部特征一致性达到98%。

多模态驱动支持让用户的创作更加灵活。 DreaMoving支持文本描述定义场景风格，如图像参考指定服装和环境元素，还支持混合输入实现精细化控制。

用户可以通过文本提示如赛博朋克舞台来描述场景，同时结合图像参考来确保人物着装的准确性。

强大的泛化能力使得DreaMoving能够适应各种不同的创作需求。 即使在未见过的人类身份和复杂运动序列上，该模型也能保持良好的生成效果，而不需要使用具有不同人类属性的额外数据进行微调。

04 应用场景

DreaMoving在多个领域都有广泛的应用前景：

影视高效制作是DreaMoving的重要应用场景。 制作团队可以使用它来替换替身演员的动作，实现主演面部与特技动作的精准融合，这不仅提升了制作效率，也降低了实拍风险。

虚拟时尚展示为服装行业带来了新的性。 商家可以生成模特多角度服装展示视频，支持动态走秀与360度细节呈现，为线上购物提供更丰富的产品展示形式。

个性化内容创作满足了自媒体用户的需求。 普通用户也可以快速制作角色舞蹈视频，适配短视频平台传播需求，创作出独具特色的个人作品。

虚拟人驱动为数字人应用提供了技术支持。 企业可以为数字人主播生成自然口型与肢体动作，提升直播真实感，增强用户体验。

教育演示领域也能从DreaMoving中受益。 教育工作者可以还原历史人物舞蹈或运动姿态，用于文化教学场景，使教学内容更加生动直观。

05 技术原理

DreaMoving基于Stable-Diffusion模型构建，包含几个关键组成部分。

去噪U-Net用于生成高质量的视频帧，视频控制网络控制视频的动态部分如舞蹈动作，内容引导器则控制生成视频的内容包括人物外观和背景。

为了训练这个模型，开发团队收集了大约1000个高质量的人类舞蹈视频，最终得到约6000个短视频片段。

这些丰富的训练数据帮助AI学习如何生成自然流畅的舞蹈动作，为模型的高质量输出奠定了坚实基础。

06 使用成本

DreaMoving提供了相对友好的使用成本方案。对于个人用户和研究目的，该工具有开源版本可供使用。

如果需要企业级商用，则需单独授权，费用为每月599美元起。 从硬件要求来看，DreaMoving可以在消费级显卡如RTX 3060上流畅运行，这降低了用户的使用门槛。

DreaMoving常见问题