基于注意力的场景坐标回归：面向多场景的 A-SCoRe 方法
计算机视觉与模式识别
2025-03-19 v1
摘要
视觉定位被认为是许多机器人和视觉系统中至关重要的组成部分。虽然基于特征匹配的方法在视觉定位方面已被证明具有很高精度，但其对存储和计算资源的要求较高。场景坐标回归（SCR）是一种替代方法，通过学习将 2D 像素映射到 3D 场景坐标，从而消除存储瓶颈。大多数流行的 SCR 方法使用卷积神经网络（CNN）提取 2D 描述子，我们认为其中缺少了像素之间的空间关系。灵感来源于视觉 Transformer 架构的成功，我们提出了一种新的 SCR 架构，称为 A-SCoRe，一种基于注意力的模型，利用注意力机制在描述子图层面生成具有意义且语义丰富的 2D 描述子。由于该操作在描述子图上执行，我们的模型可以兼容多种数据模态，无论是稠密还是稀疏的深度图，亦或是从 SLAM 到 Structure-from-Motion（SfM）的数据来源。这一灵活性使 A-SCoRe 能够在不同环境、不同条件下运行，并具备移动机器人所需的重要灵活性。实验结果表明，我们的方法在多个基准测试上实现了与最先进方法相当的性能，同时更轻量且更加灵活。代码和预训练模型已公开于我们的仓库：https://github.com/ais-lab/A-SCoRe。
引用
@article{arxiv.2503.13982,
title = {A-SCoRe: Attention-based Scene Coordinate Regression for wide-ranging scenarios},
author = {Huy-Hoang Bui and Bach-Thuan Bui and Quang-Vinh Tran and Yasuyuki Fujii and Joo-Ho Lee},
journal= {arXiv preprint arXiv:2503.13982},
year = {2025}
}