Diffree

详情介绍

在当今的数字创作时代，图像编辑是一项核心技能，但传统的专业软件操作复杂，门槛较高。由厦门大学多媒体可信感知与高效计算教育部重点实验室、上海人工智能实验室OpenGVLab和香港大学联合研发的Diffree，正是为了降低这一门槛而诞生。

Diffree的核心是基于扩散模型的“文本引导无形状对象修复”技术。在于，它将“添加物体”这一复杂任务简化为一个自然对话过程：你只需要告诉AI“在桌面上添加一个咖啡杯”或“在天空中添加一群飞鸟”，模型便能理解意图，并智能地完成从位置布局到最终合成的所有工作。

这项技术不仅在学术界受到关注，背靠的研发机构也实力雄厚。厦门大学的多媒体可信感知与高效计算教育部重点实验室是人工智能领域的重要研究基地，而上海人工智能实验室的OpenGVLab团队则以领先的“书生”系列多模态大模型闻名。强强联合，确保了Diffree技术的前沿性与可靠性。

官网入口地址

Diffree的项目主页与研究论文地址为：https://diffree.org/zh

下载地址

作为一个前沿的AI研究项目，Diffree的主要获取方式是代码开源。源代码和模型已发布在GitHub上，感兴趣的开发者、研究人员或技术爱好者可以访问项目仓库进行下载和本地部署。这意味着用户可以在本地环境中运行它，无需依赖在线服务。

功能介绍

Diffree的功能围绕“智能”、“自动”和“一致”三大核心构建，具体体现在以下方面：

• 全文本引导的智能对象添加：这是Diffree最根本的功能。用户无需任何绘画或选区操作，仅通过输入文本指令，即可指定要添加的物体。模型内置的掩码预测模块会自动推断出物体在图像中最合理的位置和形状轮廓。

• 卓越的背景一致性保持：许多早期文本编辑工具在修改图像时容易导致背景失真或改变。Diffree经过专门训练，能够在添加新对象的同时，严格保持原始图像背景的像素几乎不变，确保编辑后的照片看起来真实自然，毫无PS痕迹。

• 出色的空间适应性与光影融合：模型不仅放置物体，更理解场景。它会根据原图的视觉上下文（如光照方向、阴影、纹理和透视关系），自动调整新增物体的外观，使在光影、色调和空间比例上与周围环境和谐统一。

• 支持迭代式编辑：你可以对同一张图片进行多次“添加对象”的操作。Diffree能够基于之前编辑的结果，继续添加新元素，而不会导致图像质量下降或背景混乱，这为复杂的场景构建提供了。

• 生成对象实例掩码：Diffree在添加物体的同时，还能输出该物体的精准掩码（Mask）。这个掩码可以被他图像处理工具或工作流利用，用于进一步的精细化编辑，或与像AnyDoor这样的对象替换模型结合，开发出更丰富的应用。

应用场景

• 创意设计与广告：设计师可以快速将创意可视化，为室内设计图添加家具，为产品海报添加装饰元素，大幅提升创意提案和广告制作的效率。

• 社交媒体内容创作：博主和内容创作者可以轻松为个人照片添加有趣的元素或高效，制造吸睛亮点，而无需掌握复杂的图像处理软件。

• 摄影后期增强：摄影师可以修复照片中缺失的景物，或在风景照中添加生动的自然元素（如飞鸟、云朵），提升画面的故事感和完整性。

• 电商与产品展示：商家可以为商品图添加使用场景中的配套物品，帮助消费者构建更直观的使用想象，提升购买。

定价与主要信息

Diffree作为一个开源的研究项目，优势之一是免费。用户可以从GitHub仓库免费获取代码，并遵循相应的开源协议在本地或自己的服务器上部署使用。这消除了订阅费用，也解决了用户对云端服务隐私问题的担忧。

该项目的研究基础非常扎实，训练使用了一个名为OABench的专属数据集。该数据集包含了74,000个从真实世界图像中精心构建的样本，确保了模型能够处理多样化的复杂场景。根据论文中的实验结果，Diffree在对象添加的成功率和生成质量上，都显著优于之前的文本引导方法。

Diffree常见问题