初次相遇：面向协作机器人会合的视觉-惯性行人定位

我们旨在使机器人能够借助一种额外的传感模态——目标人物的三维惯性测量——来对其进行视觉定位。当机器人首次在人群中与人会面，或当自动驾驶车辆必须在人群中与一名乘客会合且事先不知其人外貌时，此类技术的需求便会产生。人的惯性信息可通过智能手机等可穿戴设备测量，并可在会合过程中有选择地与自主系统共享。我们提出一种方法，学习一个视觉-惯性特征空间，其中视频中人的运动可轻易地与可穿戴惯性测量单元（IMU）所测得的运动相匹配。两种模态到联合特征空间的变换通过对比损失学习得到，该损失迫使同一人生成的惯性运动特征与视频运动特征在联合特征空间中彼此靠近。为验证我们的方法，我们构建了一个包含超过 60,000 段运动行人视频片段及相应可穿戴 IMU 数据的数据集。实验表明，仅使用 5 秒的 IMU 数据与视频，我们所提方法便能以 80.7% 的准确率精确对目标人物进行定位。