SenseShift6D：面向环境与传感器变化的多模态 RGB-D 基准测试用于稳健 6D 位姿估计
计算机视觉与模式识别
2026-03-20 v3
摘要
近期 6D 物体位姿估计取得了在 LM-O、YCb-V 和 T-Less 等代表性基准测试上取得高性能的成就。然而, 这些数据集是在固定照明和相机设置下捕获的, 其留下了对现实世界照明、曝光、增益或深度传感器模式影响的潜在探索空间。为弥合这一差距, 我们引入 SenseShift6D, 第一个物理扫描 13 种 RGB 曝光、9 种 RGB 增益、自动曝光、4 种深度捕获模式和 5 种照明水平的 RGB-D 数据集。对于六个常见家庭用品, 我们获取了 19.8 万张 RGB 图像和 2 万张深度图像 (即 79.5 万张 RGB-D 场景), 每种物体姿态提供 1,380 种独特的传感器-照明排列。使用最先进的预训练、通用位姿估计器进行实验, 在照明和传感器设置之间显示出显著的性能变化, 尽管其大规模预训练。惊人的是, 即使是针对相同物体和背景训练和测试的实例级估计器, 也表现出对环境和传感器变化的显著敏感性。这些发现确立了传感器和环境感知鲁健性是一个在现实部署中尚未充分探索却至关重要的维度, 并动机 SenseShift6D 作为社区必要的基准测试。最后, 为说明由此基准测试所启用的机会, 我们评估了在不重新训练的情况下进行测试时多模态传感器选择。一个理想化 (oracle) 控制器可实现最高达 +16.7 百分点的提升, 而实际的基于一致性的代理仅轻微改善性能, 这凸显了 substantial 的提升空间以及对可靠传感器感知适应性未来研究的需求。
引用
@article{arxiv.2507.05751,
title = {SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations},
author = {Yegyu Han and Taegyoon Yoon and Dayeon Woo and Sojeong Kim and Hyung-Sin Kim},
journal= {arXiv preprint arXiv:2507.05751},
year = {2026}
}