基于 RGB 相机的视线感知人机交互任务进度检测框架

在人机交互中，检测人类的视线有助于机器人解释用户注意力和意图。然而，大多数视线检测方法依赖专业的眼动跟踪硬件，限制了其在日常环境中的部署。基于外观的视线估计方法通过使用标准 RGB 相机消除了这一依赖，但其在 HRI 中的实际应用仍未得到充分探索。我们提出一种无校准框架，用于检测通过集成显示界面传递信息时的任务进度。该框架仅使用机器人内置的单目 RGB 相机（640x480 分辨率）和最先进的视线估计来监控注意力模式。它利用自然行为，即用户将注意力从任务界面转向机器人面部以信号任务完成，形式化为三个感兴趣区域（AOI）：平板、机器人面部和其他区域。系统性的参数优化识别出在检测准确率和交互延迟之间取得平衡的配置。我们在“首次上岗”场景中验证了该框架，与基于按钮的交互进行比较。结果表明，任务完成检测准确率为 77.6%。相对于基于按钮的交互，该系统在响应延迟上略高，但保留了信息存储能力，显著提高了舒适度、社交存在感和感知的自然性。值得注意的是，大多数参与者报告自己并未有意识地使用视线动作来指导交互，凸显了视线作为沟通线索的直观作用。这一工作证明了基于直观、低成本、仅用 RGB 的视线检测人机交互在自然和引人入目的交互中是可行的。