重思负提示算法：将二维扩散转化为三维、缓解 Janus 问题及更多
计算机视觉与模式识别
2023-04-27 v3 图形学
机器学习
摘要
尽管文本到图像扩散模型在根据文本生成图像方面取得重大进展，但它们有时更倾向于生成模型训练所依据的数据图像，而非所给文本对应的图像。这一局限阻碍了其在二维与三维应用中的使用。为解决该问题，我们探索了负提示的使用，但发现当前实现无法产生预期结果，尤其在主提示与负提示存在重叠时。为克服此问题，我们提出 Perp-Neg，一种利用分数空间几何性质来弥补当前负提示算法缺陷的新算法。Perp-Neg 无需对模型进行任何训练或微调。此外，我们通过实验证明，Perp-Neg 在二维情形下通过使用户从初始生成图像中编辑掉不想要的概念，赋予了图像生成更大的灵活性。进一步，为将 Perp-Neg 拓展至三维，我们深入探究了如何在二维中用 Perp-Neg 条件化扩散模型以生成期望视角，而非偏向规范视角。最后，我们将二维直觉应用于将 Perp-Neg 与最先进的文本到三维（DreamFusion）方法结合，有效解决了其 Janus（多头）问题。我们的项目页面位于 https://Perp-Neg.github.io/
引用
@article{arxiv.2304.04968,
title = {Re-imagine the Negative Prompt Algorithm: Transform 2D Diffusion into 3D, alleviate Janus problem and Beyond},
author = {Mohammadreza Armandpour and Ali Sadeghian and Huangjie Zheng and Amir Sadeghian and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2304.04968},
year = {2023}
}
备注
Our project page is available at https://Perp-Neg.github.io/