SteinDreamer：通过 Stein 恒等式降低文本到 3D 分数蒸馏的方差
计算机视觉与模式识别
2024-04-02 v2
摘要
分数蒸馏已成为文本到 3D 资产合成最普遍的方法之一。本质上，分数蒸馏通过对不同视图的平均分数进行提升和反向传播来更新 3D 参数。在本文中，我们揭示了分数蒸馏中的梯度估计固有地具有高方差。通过方差减少的视角，SDS 和 VSD 的有效性可以被解释为将各种控制变量应用于蒸馏分数的蒙特卡洛估计器。受这种重新思考的启发并基于 Stein 恒等式，我们提出了一种更通用的降低分数蒸馏方差的解决方案，称为 Stein 分数蒸馏 (SSD)。SSD 结合了由 Stein 恒等式构建的控制变量，允许任意的基线函数。这使得我们能够包含灵活的引导先验和网络架构，以显式优化方差减少。在我们的实验中，整体流程（命名为 SteinDreamer）是通过用单目深度估计器实例化控制变量来实现的。结果表明，SSD 可以有效降低蒸馏方差，并一致地提高物体级和场景级生成的视觉质量。此外，我们证明由于更稳定的梯度更新，SteinDreamer 比现有方法实现了更快的收敛速度。
引用
@article{arxiv.2401.00604,
title = {SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity},
author = {Peihao Wang and Zhiwen Fan and Dejia Xu and Dilin Wang and Sreyas Mohan and Forrest Iandola and Rakesh Ranjan and Yilei Li and Qiang Liu and Zhangyang Wang and Vikas Chandra},
journal= {arXiv preprint arXiv:2401.00604},
year = {2024}
}
备注
Project page: https://vita-group.github.io/SteinDreamer/