一种基于 Barlow Twins 目标的轻量级域自适应绝对位姿回归器
计算机视觉与模式识别
2022-11-22 v1 人工智能
机器学习
摘要
针对给定图像确定相机位姿是一个具有挑战性的问题，在机器人、自动驾驶汽车以及增强/虚拟现实中有着广泛应用。近来，基于学习的方法已被证明对绝对相机位姿估计是有效的。然而，这些方法在泛化到不同域时精度不高。本文提出了一种用于绝对位姿回归的域自适应训练框架。在该框架中，通过使用生成方法对场景图像进行不同域的增强，并采用 Barlow Twins 目标训练并行分支。这些并行分支利用轻量级的基于 CNN 的绝对位姿回归器架构。此外，研究了在回归头中引入空间与通道注意力以进行旋转预测的有效性。我们的方法使用 Cambridge landmarks 和 7Scenes 两个数据集进行了评估。结果表明，即便所用 FLOPs 约为 MS-Transformer 的 1/24、激活数约为 1/12、参数约为 1/5，我们的方法仍优于所有基于 CNN 的架构，并取得了与基于 transformer 的架构相当的性能。我们的方法在 Cambridge Landmarks 和 7Scenes 数据集上分别排名第 2 和第 4。此外，对于训练时未遇到的增强域，我们的方法显著优于 MS-transformer。进一步表明，我们的域自适应框架比使用相同 CNN 骨干网、以全部未见分布样本训练的单分支模型取得了更好的性能。
引用
@article{arxiv.2211.10963,
title = {A Lightweight Domain Adaptive Absolute Pose Regressor Using Barlow Twins Objective},
author = {Praveen Kumar Rajendran and Quoc-Vinh Lai-Dang and Luiz Felipe Vecchietti and Dongsoo Har},
journal= {arXiv preprint arXiv:2211.10963},
year = {2022}
}
备注
[draft-v1] 18 pages, 8 figures, and 10 tables