InstructAttribute：基于指令的细粒度物体属性编辑
计算机视觉与模式识别
2025-06-24 v2
摘要
文本到图像（T2I）扩散模型因其强大的生成能力而被广泛应用于图像编辑。然而，实现对特定物体属性（如颜色和材质）的细粒度控制仍然是一个相当大的挑战。现有方法往往无法准确修改这些属性，或损害结构完整性和整体图像一致性。为填补这一空白，我们引入了结构保持与属性放大（SPAA），这是一种新颖的无训练框架，通过智能地操控扩散模型中的自注意力图和交叉注意力值，实现对同一物体颜色和材质属性的精确生成。基于 SPAA，我们集成了多模态大语言模型（MLLMs）以自动化数据整理和指令生成。利用该物体属性数据收集引擎，我们构建了属性数据集，涵盖了跨多种物体类别的全面颜色和材质范围。利用这个生成的数据集，我们提出了 InstructAttribute，一个经过指令微调的模型，能够通过自然语言提示实现细粒度、物体级别的属性编辑。这一能力对加速产品设计、电子商务可视化和增强虚拟试穿体验等多个领域具有重要的实际意义。大量实验表明，InstructAttribute 优于现有的基于指令的基线方法，在属性修改准确性和结构保持之间实现了更优的平衡。
引用
@article{arxiv.2505.00751,
title = {InstructAttribute: Fine-grained Object Attributes editing with Instruction},
author = {Xingxi Yin and Jingfeng Zhang and Yue Deng and Zhi Li and Yicheng Li and Yin Zhang},
journal= {arXiv preprint arXiv:2505.00751},
year = {2025}
}