基于3D手姿态的以人类-物体交互为导向的人体身份识别

人体-物体交互识别（HOIR）和用户身份识别在推动基于增强现实（AR）的个性化辅助技术方面发挥着关键作用。这些系统正越来越多地部署在高风险、以人为中心的环境中，如飞机驾驶舱、航空航天维护和外科手术。本研究引入I2S（Interact2Sign），一个多阶段框架，用于通过人体-物体交互识别进行无侵入式用户身份识别，利用Egocentric视频中的3D手姿态分析。I2S利用从3D手姿态中提取的手工特征，并依次进行特征增强：首先识别物体类别，随后进行HOI识别，最终实现用户身份识别。对3D手姿态进行全面的特征提取和描述，将提取的特征组织为语义意义更明确的类别：空间、频率、运动学、姿态，以及本工作引入的新型描述符——Inter-Hand Spatial Envelope（IHSE）。进行了大量消融实验，以确定最有效的特征组合。最佳配置实现了97.52%的平均F1分数用于用户身份识别，评估基于源自ARCTIC和H2O数据集的双手物体操作数据集。I2S实现了最先进的性能，同时保持模型规模不足4 MB，推理时间为0.1秒。这些特征使提出的框架非常适合用于实时、基于设备的身份验证，在安全关键的AR系统中发挥作用。