DreamDistribution：学习提示分布以实现多样化的分布内生成
计算机视觉与模式识别
2025-04-22 v2
摘要
文本到图像（T2I）扩散模型的普及使得能够从文本描述生成高质量图像。然而，生成具有参考视觉属性的多样化定制图像仍然具有挑战性。这项工作侧重于在更抽象的概念或类别级别上个性化 T2I 扩散模型，从一组参考图像中提取共性，同时创建具有充分变化的新实例。我们引入了一种解决方案，使预训练的 T2I 扩散模型能够学习一组软提示，从而通过从学习到的分布中采样提示来生成新颖图像。这些提示提供了文本引导的编辑能力，以及在控制多个分布之间的变化和混合方面的额外灵活性。我们还展示了学习到的提示分布对其他任务（如文本到 3D）的适应性。最后，我们通过包括自动评估和人工评估在内的定量分析展示了我们方法的有效性。项目网站：https://briannlongzhao.github.io/DreamDistribution
引用
@article{arxiv.2312.14216,
title = {DreamDistribution: Learning Prompt Distribution for Diverse In-distribution Generation},
author = {Brian Nlong Zhao and Yuhang Xiao and Jiashu Xu and Xinyang Jiang and Yifan Yang and Dongsheng Li and Laurent Itti and Vibhav Vineet and Yunhao Ge},
journal= {arXiv preprint arXiv:2312.14216},
year = {2025}
}