基于自我中心可穿戴摄像机的室内未来行人定位

从自我中心可穿戴摄像机准确预测未来行人位置与运动轨迹可惠及广泛应用，例如辅助视障人士导航，以及为残障人士开发移动辅助。本工作中，使用可穿戴摄像机构建了一个新的自我中心数据集，包含8250个短视频片段，片段中目标行人于室内环境中1)走向、2)远离、3)横穿摄像机佩戴者，或4)在场景中静止，并手动标注了13817个行人边界框。除边界框外，该数据集还包含各时间点上目标行人的估计姿态以及可穿戴摄像机的IMU信号。我们设计了一个基于LSTM的编码器-解码器框架，以在该自我中心设定下预测目标行人的未来位置与运动轨迹。在新数据集上进行了充分实验，结果表明相较于三种基线方法，所提方法能够更可靠且更好地预测可穿戴摄像机捕获的自我中心视频中的未来行人位置与轨迹。