OSTAF：一种用于改进属性聚焦 T2I 个性化的单次微调方法
计算机视觉与模式识别
2024-03-19 v1
摘要
个性化文本到图像（T2I）模型不仅能产生逼真且多样化的视觉效果，还允许用户根据个人品味定制图像。这些个性化技术可以通过一系列图像掌握概念的本质，或者通过特定的图像输入调整预训练的文本到图像模型，以实现主体驱动或属性感知的引导。然而，准确捕捉单张图像的独特视觉属性对这些方法来说是一个挑战。为了解决这个问题，我们引入了 OSTAF，一种新颖的参数高效的单次微调方法，该方法仅利用一张参考图像进行 T2I 个性化。我们采用了一种新颖的基于超网络的属性聚焦微调机制，以实现对参考图像中各种属性特征（例如，外观、形状或绘画风格）的精确学习。与现有的图像定制方法相比，我们的方法在属性识别和应用方面表现出显著的优越性，并在效率和输出质量之间取得了良好的平衡。
引用
@article{arxiv.2403.11053,
title = {OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization},
author = {Ye Wang and Zili Yi and Rui Ma},
journal= {arXiv preprint arXiv:2403.11053},
year = {2024}
}