IC-Custom：基于原地学习的多样化图像定制

Yaowei Li; Xiaoyu Li; Zhaoyang Zhang; Yuxuan Bian; Gan Liu; Xinyuan Li; Jiale Xu; Wenbo Hu; Yating Liu; Lingen Li; Jing Cai; Yuexian Zou; Yancheng He; Ying Shan

IC-Custom：基于原地学习的多样化图像定制

计算机视觉与模式识别 2025-10-02 v3

作者: Yaowei Li , Xiaoyu Li , Zhaoyang Zhang , Yuxuan Bian , Gan Liu , Xinyuan Li , Jiale Xu , Wenbo Hu , Yating Liu , Lingen Li , Jing Cai , Yuexian Zou , Yancheng He , Ying Shan

在 arXiv 上查看 ↗ PDF ↗

摘要

图像定制是工业媒体制作中关键技术，旨在生成与参考图像一致的内容。然而，现有方法通常将图像定制划分为位置感知和位置无关范式，缺乏适用于多样化定制的通用框架，限制了其在各种场景中的应用。为克服这些限制，我们提出IC-Custom，一个通过原地学习集成位置感知与位置无关图像定制的统一框架。IC-Custom将参考图像与目标图像拼接为多画板，利用DiT的多模态注意力机制实现细粒度的标记级交互。我们提出的原地多模态注意力（ICMA）机制采用可学习的任务导向寄寓标记和边界感知位置嵌入，使模型能够有效处理多样化任务并区分多画板配置中的输入。为解决数据瓶颈，我们构建了12K的身份一致数据集，其中包含8K真实世界和4K高质量合成样本，避免了合成数据过于光鲜、过度饱和的特征。IC-Custom支持包括试穿、图像插入和创意IP定制等多种工业应用。在我们提出的ProductBench和公开的DreamBench上进行的广泛评估表明，IC-Custom显著优于社区工作流程、封闭源模型和最先进的开源方法。IC-Custom在身份一致性、和谐度和文本对齐指标上实现约73%的人类偏好提升，同时仅使用原始模型参数的0.4%进行训练。项目页面：https://liyaowei-stu.github.io/project/IC_Custom

关键词

图像定制原地学习 DiT 多模态注意力身份一致性

引用

@article{arxiv.2507.01926,
  title  = {IC-Custom: Diverse Image Customization via In-Context Learning},
  author = {Yaowei Li and Xiaoyu Li and Zhaoyang Zhang and Yuxuan Bian and Gan Liu and Xinyuan Li and Jiale Xu and Wenbo Hu and Yating Liu and Lingen Li and Jing Cai and Yuexian Zou and Yancheng He and Ying Shan},
  journal= {arXiv preprint arXiv:2507.01926},
  year   = {2025}
}

备注

Revised version with improved writing. Project page: https://liyaowei-stu.github.io/project/IC_Custom

IC-Custom：基于原地学习的多样化图像定制

摘要

关键词

引用

备注

相关论文