U-VAP：通过解耦自增强实现用户指定的视觉外观个性化

概念个性化方法使大型文本到图像模型能够学习特定主题（例如，对象/姿势/3D模型）并在新上下文中合成渲染。由于图像参考高度偏向视觉属性，最先进的个性化模型倾向于过拟合整个主题，无法在像素空间中解缠视觉特征。在本研究中，我们提出了一个更具挑战性的设置，即细粒度视觉外观个性化。与现有方法不同，我们允许用户提供描述所需属性的句子。提出了一种新颖的解耦自增强策略，以生成目标相关和非目标样本，从而学习用户指定的视觉属性。这些增强数据允许细化模型对目标属性的理解，同时减轻无关属性的影响。在推理阶段，通过学习的嵌入在语义空间中进行调整，以进一步增强目标属性的解缠。与最先进的个性化方法在各种视觉属性上的大量实验表明，所提出的方法能够在新的上下文中模仿目标视觉外观，从而提高了个性化的可控性和灵活性。