检测精确手部触碰时刻的 Egocentric 视频

我们解决了在 Egocentric 视频中检测手部触碰物体的精确时刻这一具有挑战性的任务。这种帧级检测对于增强现实、人机交互、辅助技术以及机器人学习应用至关重要，因其中接触起始信号可用于启动或完成动作。由于接近触碰处的手部运动细微变化、频繁的遮挡、精细的操控模式以及第一人称视角的固有运动动力学，时序精准检测尤其具有挑战性。为应对这些挑战，我们提出了基于交叉注意力机制的 Hand-informed Context Enhanced 模块（HiCE；发音为 'high-see'），通过利用手部区域及其周围语境的时空特征，学习以识别潜在的触碰模式。我们的方法还通过抓握感知损失和软标签进行了进一步优化，这两种技术侧重于触碰事件典型的手部姿态模式和运动动力学，使模型能够区分接近触碰和实际触碰的帧。我们还引入了 TouchMoment 数据集，包含 4021 个视频和 8456 个标注的触碰时刻，涉及超过一百万帧。在 TouchMoment 数据集上的实验表明，在严格的评估标准下（即仅当预测时刻在真实值两帧容差内时才计为正确），我们的方法实现了显著的提升，相较于现有事件定位基线方法在平均精度上提升了 16.91%。