用于改进位姿回归的相机位姿自编码器
计算机视觉与模式识别
2022-07-13 v1 人工智能
摘要
绝对位姿回归器（APR）网络经训练用于根据所捕获图像估计相机位姿。它们计算潜在图像表示，并从中回归相机位置与朝向。与提供最先进精度的基于结构的定位方案相比，APR 在定位精度、运行时间和内存之间提供了不同的权衡。在本工作中，我们引入相机位姿自编码器（PAEs），即通过教师-学生方法训练的多层感知机，以使用 APR 作为教师来编码相机位姿。我们展示所得潜在位姿表示能紧密复现 APR 性能，并证明其对相关任务的有效性。具体而言，我们提出一种轻量级测试时优化，其中对最接近的训练位姿进行编码并用于精炼相机位置估计。该过程在 CambridgeLandmarks 和 7Scenes 基准上均实现了 APR 的新最先进位置精度。我们还展示可从所学位姿编码重建训练图像，为以低内存成本整合来自训练集的视觉信息铺平道路。我们的代码与预训练模型可在 https://github.com/yolish/camera-pose-auto-encoders 获取。
引用
@article{arxiv.2207.05530,
title = {Camera Pose Auto-Encoders for Improving Pose Regression},
author = {Yoli Shavit and Yosi Keller},
journal= {arXiv preprint arXiv:2207.05530},
year = {2022}
}
备注
Accepted to ECCV22