ROICtrl: 提升视觉生成中的实例控制
计算机视觉与模式识别
2024-11-28 v1
摘要
自然语言在将位置和属性信息准确关联到多个实例方面常常走样，这限制了当前基于文本的视觉生成模型仅能处理包含少数主导实例的简单构图。为此，本工作通过引入区域实例控制来增强扩散模型，即每个实例由带有自由形式标题的边界框控制。此前方法通常依赖隐式位置编码或显式注意力掩码来分离感兴趣区域（ROI），导致坐标注入不准或计算开销大。灵感来自目标检测中的ROI-Align，我们引入称为ROI-Unpool的互补操作。ROI-Align和ROI-Unpool共同实现了对高分辨率特征图的显式、高效且准确的ROI操作。基于ROI-Unpool，我们提出ROICtrl，一种用于预训练扩散模型的适配器，实现精确的区域实例控制。ROICtrl兼容社区微调的扩散模型，以及现有的基于空间的插件（如ControlNet、T2I-Adapter）和基于嵌入的插件（如IP-Adapter、ED-LoRA），扩展了其对多实例生成的应用。实验表明，ROICtrl在区域实例控制方面取得优异性能，同时显著降低了计算成本。
引用
@article{arxiv.2411.17949,
title = {ROICtrl: Boosting Instance Control for Visual Generation},
author = {Yuchao Gu and Yipin Zhou and Yunfan Ye and Yixin Nie and Licheng Yu and Pingchuan Ma and Kevin Qinghong Lin and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2411.17949},
year = {2024}
}
备注
Project page at https://roictrl.github.io/