BlobCtrl：控制可控 Blob 用于元素级图像编辑
计算机视觉与模式识别
2025-10-02 v2 人工智能
多媒体
摘要
随着用户对图像编辑期望的不断提升，对特定视觉元素的灵活、细粒度操控的需求日益增长，这对当前基于扩散的方法构成了挑战。本文提出了 BlobCtrl，一种基于概率 blob 表示进行元素级图像编辑的框架。将 blob 视为视觉原语，BlobCtrl 使布局与外观解耦，从而实现对特定对象的细粒度、可控操作。我们的主要贡献有两点：（1）一种基于 blob 表示的双分支扩散模型，分离前景和背景处理，融合 blob 表示以显式解耦布局和外观；（2）一种自监督的解耦-重构训练范式，配合面积保持损失函数，以及针对 blob 图像对的高效利用策略。为促进进一步的研究，我们引入 BlobData 用于大规模训练，以及 BlobBench 用于系统评估。实验结果表明，BlobCtrl 在各种元素级编辑任务中实现了最先进的性能，包括物体添加、删除、缩放和替换，同时保持计算效率。项目网页：https://liyaowei-stu.github.io/project/BlobCtrl/
引用
@article{arxiv.2503.13434,
title = {BlobCtrl: Taming Controllable Blob for Element-level Image Editing},
author = {Yaowei Li and Lingen Li and Zhaoyang Zhang and Xiaoyu Li and Guangzhi Wang and Hongxiang Li and Xiaodong Cun and Ying Shan and Yuexian Zou},
journal= {arXiv preprint arXiv:2503.13434},
year = {2025}
}
备注
Project Webpage: https://liyaowei-stu.github.io/project/BlobCtrl/ This version presents a major update with rephrased writing. Accepted to SIGGRAPH Asia 2025