RePAST：相对位姿注意力场景表示变换器
计算机视觉与模式识别
2023-04-11 v2 人工智能
图形学
机器学习
机器人学
摘要
场景表示变换器（SRT）是一种近期提出的以交互速率渲染新视角的方法。由于SRT使用的是相对于任意选定参考相机的相机位姿，它并不对输入视角的顺序具有不变性。因此，SRT无法直接应用于需要定期更换参考坐标系的大规模场景。本工作中，我们提出相对位姿注意力SRT（RePAST）：我们不在输入处固定参考坐标系，而是将成对的相对相机位姿信息直接注入Transformer的注意力机制中。这带来了一个依定义即对任何全局参考坐标系的选择都具有不变性的模型，同时仍保留原方法的全部能力。实证结果表明，为模型增加此种不变性并未导致质量损失。我们认为这是将完全隐式的基于变换器的渲染方法应用于大规模场景的一步。
引用
@article{arxiv.2304.00947,
title = {RePAST: Relative Pose Attention Scene Representation Transformer},
author = {Aleksandr Safin and Daniel Duckworth and Mehdi S. M. Sajjadi},
journal= {arXiv preprint arXiv:2304.00947},
year = {2023}
}