FABRIC：利用迭代反馈个性化扩散模型
计算机视觉与模式识别
2023-07-20 v1
摘要
在视觉内容生成日益由机器学习驱动的当下，将人类反馈融入生成模型为提升用户体验与输出质量带来了重要机遇。本研究探索了将迭代人类反馈纳入基于扩散的文本到图像模型生成过程的策略。我们提出 FABRIC，一种无需训练的方法，可应用于多种主流扩散模型，其利用最广泛使用架构中的自注意力层，以一组反馈图像为条件约束扩散过程。为确保对我们方法的严格评估，我们引入了一套全面的评估方法，为量化融合人类反馈的生成视觉模型性能提供了稳健机制。通过详尽分析，我们表明生成结果在多轮迭代反馈中得以改善，从而隐式优化任意用户偏好。这些发现的潜在应用延伸至个性化内容创作与定制等领域。
引用
@article{arxiv.2307.10159,
title = {FABRIC: Personalizing Diffusion Models with Iterative Feedback},
author = {Dimitri von Rütte and Elisabetta Fedele and Jonathan Thomm and Lukas Wolf},
journal= {arXiv preprint arXiv:2307.10159},
year = {2023}
}
备注
14 pages, 7 figures