无梯度文本反演
计算机视觉与模式识别
2023-04-13 v1
摘要
近期关于个性化文本到图像生成的工作通常通过梯度下降调整特殊词元的嵌入，以将给定少量图像中的特定主体或风格与该词元绑定。自然会质疑我们是否仅通过访问模型推理过程即可优化文本反演。因为仅需前向计算来确定文本反演，保留了更少的GPU内存、简单部署以及对可扩展模型的安全访问等优势。在本文中，我们引入了一种\emph{无梯度}框架，以迭代进化策略优化连续文本反演。具体而言，我们首先结合视觉与文本词表信息为文本反演初始化合适的词元嵌入。然后，我们将进化策略的优化分解为搜索空间的降维与子空间中的非凸无梯度优化，这以可忽略的性能损失显著加速了优化过程。在多个应用中的实验表明，配备我们所提无梯度方法的文本到图像模型的性能可与基于梯度的对应方法相媲美，并具备多变的GPU/CPU平台、灵活使用以及计算高效的特点。
引用
@article{arxiv.2304.05818,
title = {Gradient-Free Textual Inversion},
author = {Zhengcong Fei and Mingyuan Fan and Junshi Huang},
journal= {arXiv preprint arXiv:2304.05818},
year = {2023}
}