利用主体无关引导改进主体驱动的图像合成
计算机视觉与模式识别
2024-05-03 v1
摘要
在主体驱动的文本到图像合成中，合成过程往往受到用户提供的参考图像的严重影响，常常忽略文本提示中详述的关键属性。在本工作中，我们提出了主体无关引导（Subject-Agnostic Guidance, SAG），一种简单而有效的解决方案来纠正该问题。我们表明，通过构建主体无关条件并应用我们提出的双重无分类器引导，可以获得与给定主体和输入文本提示均一致的输出。我们通过基于优化和基于编码器的方法验证了本方法的有效性。此外，我们展示了其在二阶定制方法中的适用性，其中基于编码器的模型使用 DreamBooth 进行微调。我们的方法在概念上简单，仅需极少的代码修改，但带来了显著的质量提升，这由我们的评估和用户研究所证实。
引用
@article{arxiv.2405.01356,
title = {Improving Subject-Driven Image Synthesis with Subject-Agnostic Guidance},
author = {Kelvin C. K. Chan and Yang Zhao and Xuhui Jia and Ming-Hsuan Yang and Huisheng Wang},
journal= {arXiv preprint arXiv:2405.01356},
year = {2024}
}
备注
Accepted to CVPR 2024