BRAT：面向架构无关文本反转的奖励正交Token
计算机视觉与模式识别
2024-08-12 v1
摘要
文本反转仍然是个性化扩散模型的流行方法，用于教授模型新的主题和风格。我们注意到文本反转在使用UNet替代方案方面尚未得到充分探索，并尝试使用视觉变换器进行文本反转。我们还寻求一种不需要显式使用UNet及其特殊层的优化策略，因此我们添加了奖励Token并强制正交性。我们发现奖励Token的使用提高了对源图像的遵循度，而视觉变换器的使用提高了对提示词的遵循度。代码可在https://github.com/jamesBaker361/tex_inv_plus获取。
引用
@article{arxiv.2408.04785,
title = {BRAT: Bonus oRthogonAl Token for Architecture Agnostic Textual Inversion},
author = {James Baker},
journal= {arXiv preprint arXiv:2408.04785},
year = {2024}
}