MIGC++：用于图像合成的高级多实例生成控制器
计算机视觉与模式识别
2025-05-06 v3
摘要
我们介绍了多实例生成（MIG）任务，旨在生成单张图像中的多个实例，每个实例准确放置在用户指定的位置，并具有类别、颜色和形状等属性，严格遵循用户规范。MIG面临三个主要挑战：避免实例之间属性泄漏、支持多样化的实例描述、以及维持迭代生成的一致性。为解决属性泄漏问题，我们提出了多实例生成控制器（MIGC）。MIGC通过分而治之策略生成多个实例，将多实例渲染分解为带单一属性的单实例任务，后者被整合。为提供更多类型的实例描述，我们开发了MIGC++。MIGC++允许通过文本和图像进行属性控制，通过框和掩码进行位置控制。最后，我们引入Consistent-MIG算法来增强MIGC和MIGC++的迭代MIG能力。该算法确保在添加、删除或修改实例时，未修改区域的一致性，并在实例属性更改时保持其身份。我们引入COCO-MIG和Multimodal-MIG基准测试来评估这些方法。在这些基准测试、COCO-Position基准测试和DrawBench上的大量实验表明，我们的方法在位置、属性和数量等方面显著优于现有技术，保持精确的控制。项目页面：https://github.com/limuloo/MIGC。
引用
@article{arxiv.2407.02329,
title = {MIGC++: Advanced Multi-Instance Generation Controller for Image Synthesis},
author = {Dewei Zhou and You Li and Fan Ma and Zongxin Yang and Yi Yang},
journal= {arXiv preprint arXiv:2407.02329},
year = {2025}
}