STR-GQN：基于空间变换路由的未知相机场景表示与绘制
计算机视觉与模式识别
2021-08-09 v1
摘要
几何感知模块近期被广泛应用于深度学习的场景表示与绘制架构中。然而，这些模块需要可能难以准确获取的内参相机信息。本文中，我们提出一种空间变换路由（STR）机制，在不使用任何几何先验的情况下对空间属性建模。STR 机制将空间变换视为消息传递过程，并通过端到端可训练神经网络对视角位姿与路由权重之间的关系建模。此外，提出占用概念映射（OCM）框架，为场景融合过程提供可解释的依据。我们在多个数据集上开展实验，表明所提 STR 机制提升了生成式查询网络（GQN）的性能。可视化结果显示，路由过程可将某视图中某一位置观测到的信息传递到另一视图中的关联位置，这展示了所提模型在空间认知方面的优势。
引用
@article{arxiv.2108.03072,
title = {STR-GQN: Scene Representation and Rendering for Unknown Cameras Based on Spatial Transformation Routing},
author = {Wen-Cheng Chen and Min-Chun Hu and Chu-Song Chen},
journal= {arXiv preprint arXiv:2108.03072},
year = {2021}
}