驯服文本到3D生成中分数蒸馏的模式崩溃
计算机视觉与模式识别
2024-04-02 v2 机器学习
摘要
尽管分数蒸馏在文本到3D生成中表现出色，但这类技术通常存在视图不一致问题，也称为“Janus”伪影，即生成的对象在每个视图上伪造多个正面。虽然经验有效的方法通过分数去偏或提示工程解决了这个问题，但更严格的视角来解释和解决这个问题仍然难以捉摸。在本文中，我们揭示了现有的基于分数蒸馏的文本到3D生成框架退化为在每个视图上独立寻求最大似然，因此遭受模式崩溃问题，在实践中表现为Janus伪影。为了驯服模式崩溃，我们通过重新建立相应变分目标中的熵项来改进分数蒸馏，该熵项应用于渲染图像的分布。最大化熵鼓励生成的3D资产中不同视图之间的多样性，从而缓解Janus问题。基于这个新目标，我们推导出3D分数蒸馏的新更新规则，称为熵分数蒸馏（ESD）。我们从理论上揭示，ESD可以通过在变分分数蒸馏上采用无分类器指导技巧来简化和实现。尽管简单得令人尴尬，但我们的大量实验成功证明ESD可以成为分数蒸馏中Janus伪影的有效治疗方法。
引用
@article{arxiv.2401.00909,
title = {Taming Mode Collapse in Score Distillation for Text-to-3D Generation},
author = {Peihao Wang and Dejia Xu and Zhiwen Fan and Dilin Wang and Sreyas Mohan and Forrest Iandola and Rakesh Ranjan and Yilei Li and Qiang Liu and Zhangyang Wang and Vikas Chandra},
journal= {arXiv preprint arXiv:2401.00909},
year = {2024}
}
备注
Project page: https://vita-group.github.io/3D-Mode-Collapse/