Motionshop

详情介绍

官网入口

Motionshop官网地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

介绍

Motionshop于2024年1月由阿里巴巴通义实验室正式发布，是一个专门用于3D角替换的AI框架。该工具采用了两条并行处理流水线：视频处理流水线负责提取和修复背景视频序列，姿态估计与渲染流水线则用于生成3D角色的动画序列。

通过使用高性能光线追踪渲染器TIDE，Motionshop能够在几分钟内完成整个替换过程。用户只需上传一段不超过15秒的人物视频，选择想要替换的3D角色模型，等待约10分钟左右即可获得生成结果。

值得一提的是，Motionshop的功能已经在通义App中以"角色扮演"的形式上线，近期还将支持用户自定义创建角色功能，进一步扩展了创作的个性化空间。

功能介绍

Motionshop提供了一系列强大的视频角色替换功能：

智能人物检测与跟踪：Motionshop能自动检测视频中的人物主体，并通过先进的角色跟踪和分割技术，精确捕捉人物的每一个动作细节。该系统会自动识别画面中占比的人物，目前暂不支持手动选择目标人物。

高精度姿态估计：利用深度学习算法，Motionshop能够准确估计视频中人物的身体姿态，并将这些动作流畅地迁移到3D角色上。这使得替换后的3D角色能复刻原视频中人物的动作。

真实感渲染技术：Motionshop集成了高性能光线追踪渲染器TIDE，能够估计视频中的光照条件，并对3D模型进行相应的光照处理，确保角色与背景环境自然融合。

背景修复与保留：在提取视频中的人物后，Motionshop会智能修复人物移除后的背景区域，确保背景视频的完整性和连贯性，这是实现高质量角色替换的关键步骤。

多角色支持：在通义App的"角色扮演"功能中，用户最多可以替换视频中的3个角色，官方提供的模板角色包括孙悟空、机器人及两款不同风格的女性角色。

自定义角色生成：新版本Motionshop2支持上传自定义形象，用户可以通过上传人物图片生成对应的3D角色形象，进一步扩展了创作性。

应用场景

Motionshop适用于多种创意场景：

个人娱乐创作：普通用户可以将自己或朋友的视频转换为3D卡通风格，制作独特的社交媒体内容，增加互动趣味性。

教育领域：教师可以利用Motionshop制作生动有趣的教学视频，将历史人物或文学角色以卡通形象呈现，提升学生的学习兴趣。

营销推广：营销人员和内容创作者可以制作创意广告视频，通过可爱的3D角色形象吸引观众注意力，提升品牌曝光度。

动画制作：动画师和视频创作者可以快速将真人表演转化为动画序列，显著提高动画制作效率，降作成本。

游戏开发：游戏开发者可以利用该技术快速生成游戏角色动画，或将玩家形象融入游戏场景中，增强游戏个性化体验。

定价信息

Motionshop目前主要通过两种方式提供服务：

免费体验：在通义App中的"角色扮演"功能免费向用户开放。同时在ModelScope社区平台的Demo版本也提供免费试用。

API付费服务：对于开发者需求，幻影人像Motionshop系列模型支持通过API调用，采用后付费计费模式。具体计费标准需要参考阿里云百炼平台的定价政策。

Motionshop常见问题