AE-NeRF：用于三维感知物体操控的自编码神经辐射场
计算机视觉与模式识别
2022-04-29 v1
摘要
我们提出一种用于三维感知物体操控的新颖框架，称为自编码神经辐射场（Auto-Encoding Neural Radiance Fields, AE-NeRF）。我们的模型以自编码器架构构建，从图像中提取解耦的三维属性（如三维形状、外观和相机位姿），并通过解耦生成式神经辐射场（Neural Radiance Fields, NeRF）从属性渲染高质量图像。为提升解耦能力，我们提出两种损失：输入与输出间定义的全局-局部属性一致性损失，以及交换属性分类损失。由于从无真实形状和外观信息从头训练此类自编码网络并非易事，我们提出一种分阶段训练方案，其显著有助于提升性能。我们开展实验以证明所提模型相较最新方法的有效性，并提供广泛的消融研究。
引用
@article{arxiv.2204.13426,
title = {AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation},
author = {Mira Kim and Jaehoon Ko and Kyusun Cho and Junmyeong Choi and Daewon Choi and Seungryong Kim},
journal= {arXiv preprint arXiv:2204.13426},
year = {2022}
}