KS-APR：面向鲁棒绝对位姿回归的关键帧选择
计算机视觉与模式识别
2024-04-30 v2
摘要
无标记移动增强现实（AR）旨在不使用特定 2D 或 3D 物体的情况下将数字内容锚定于物理世界。绝对位姿回归器（APR）是从单目图像端到端推断设备位姿的机器学习方案。得益于低计算成本，它们可直接在移动 AR 设备的受限硬件上运行。然而，APR 方法对远离训练集的输入图像往往产生显著误差。本文提出 KS-APR，一种通过结合 APR 的推断结果与训练集中的先验图像，以极小开销评估估计位姿可靠性的流水线。移动 AR 系统往往依赖视觉-惯性里程计在体验过程中跟踪设备的相对位姿。因此，KS-APR 偏好可靠性而非频率，丢弃不可靠位姿。该流水线可集成多数现有 APR 方法，通过过滤不可靠图像及其位姿估计来提升精度。我们在室内与室外数据集上的三类 APR 模型上实现该流水线。所有模型的位置与朝向中值误差均降低，且大误差比例在各数据集上最小化。我们的方法使 DFNetdm 等最先进 APR 优于单图像与序列 APR 方法。这些结果证明了 KS-APR 对于无需一次性决策的视觉定位任务的可扩展性与有效性。
引用
@article{arxiv.2308.05459,
title = {KS-APR: Keyframe Selection for Robust Absolute Pose Regression},
author = {Changkun Liu and Yukun Zhao and Tristan Braud},
journal= {arXiv preprint arXiv:2308.05459},
year = {2024}
}