Alterbute：编辑图像中物体的内在属性

我们引入了 Alterbute，一种基于扩散模型的方法，用于编辑图像中物体的内在属性。我们允许改变物体的颜色、纹理、材质甚至形状，同时保留其感知身份和场景上下文。现有方法要么依赖于通常无法保留身份的无监督先验，要么使用过度严格的监督，从而阻碍了有意义的内在属性变化。我们的方法依赖于：(i) 一个宽松的训练目标，允许模型在以身份参考图像、描述目标内在属性的文本提示以及定义外部上下文的背景图像和物体掩码为条件下，同时改变内在和外在属性。在推理时，我们通过复用原始背景和物体掩码来限制外在变化，从而确保仅改变所需的内在属性；(ii) 视觉命名实体（Visual Named Entities, VNEs）——细粒度的视觉身份类别（例如“Porsche 911 Carrera”），它们将共享定义身份特征的物体进行分组，同时允许内在属性的变化。我们使用视觉-语言模型从大型公共图像数据集中自动提取 VNE 标签和内在属性描述，从而实现可扩展的、保留身份的监督。Alterbute 在保留身份的物体内在属性编辑任务上优于现有方法。