egoPPG：从自我中心系统的眼动追踪摄像头估计心率以增益下游视觉任务

自我中心视觉系统旨在理解空间环境以及佩戴者在其中的行为，包括运动、活动和交互。我们认为，自我中心系统还必须检测生理状态，以捕捉人的注意力和情境反应，这对于上下文感知的行为建模至关重要。在本文中，我们提出 egoPPG，一个面向自我中心系统的新型视觉任务，旨在恢复人的心脏活动以辅助下游视觉任务。我们引入了 PulseFormer，一种从未经修改的自我中心视觉系统上的眼动追踪摄像头提取心率作为生理状态关键指标的方法。PulseFormer 从眼睛周围区域持续估计光电容积脉搏波（PPG），并融合头戴设备惯性测量单元的运动线索来追踪心率值。我们在现有的自我中心数据集 EgoExo4D 上展示了 egoPPG 对一项关键任务的下游增益，我们发现 PulseFormer 估计的心率将熟练度估计提升了 14%。为了训练和验证 PulseFormer，我们收集了一个包含 13 小时以上 Project Aria 眼动追踪视频、基于接触式的 PPG 信号以及用于获取真实心率值的心电图（ECG）的数据集。与 EgoExo4D 类似，25 名参与者执行了各种日常活动，如办公、烹饪、跳舞和锻炼，这些活动引发了显著的自然运动和心率变化（44-164 bpm）。我们的模型稳健地估计心率（MAE=7.67 bpm）并捕捉其模式（r=0.85）。我们的结果表明，自我中心系统可以统一环境追踪与生理追踪以更好地理解用户，并且 egoPPG 作为一项互补任务，为现有数据集和任务提供了有意义的增强。我们发布了我们的代码、数据集和针对 EgoExo4D 的心率增强，以启发生理感知的自我中心任务研究。