VENI：面向自然光照的变分编码器
计算机视觉与模式识别
2026-01-21 v1
摘要
逆渲染是一个不适定问题，但诸如光照先验之类的先验知识可以简化它。现有工作要么忽略了光照环境的球面性和旋转等变性，要么未能提供一个性质良好的潜在空间。我们提出了一种旋转等变变分自编码器，它在球面上对自然光照进行建模，而不依赖于二维投影。为了保持环境贴图的 SO(2) 等变性，我们使用了一种新颖的向量神经元视觉Transformer（VN-ViT）作为编码器，并使用一个旋转等变条件神经场作为解码器。在编码器中，我们使用一种新颖的 SO(2) 等变全连接层（向量神经元的一种扩展）将等变性从 SO(3) 降低到 SO(2)。我们证明，当在我们的 SO(2) 等变模型中使用时，我们的 SO(2) 等变全连接层优于标准向量神经元。与先前的方法相比，我们的变分自编码器能够在潜在空间中实现更平滑的插值，并提供了一个性质更良好的潜在空间。
引用
@article{arxiv.2601.14079,
title = {VENI: Variational Encoder for Natural Illumination},
author = {Paul Walker and James A. D. Gardner and Andreea Ardelean and William A. P. Smith and Bernhard Egger},
journal= {arXiv preprint arXiv:2601.14079},
year = {2026}
}
备注
Project Repo - https://github.com/paul-pw/veni Project page - https://paul-pw.github.io/veni