超越运动原语：基于头部惯性测量单元的行为活动识别
计算机视觉与模式识别
2026-05-28 v1 人工智能
摘要
AR智能眼镜需要持续的行为上下文才能提供主动协助，但它们最实用的始终开启传感器——头戴式惯性测量单元(IMU)——仅能检测到行走或站立等运动原语。我们超越运动原语，进行行为层次的识别，定义五个类别，在AR应用需求与传感器可观测性之间进行平衡。为此，我们构建了一个包含16万样本的Ego4D数据集，采用覆盖8种活动情景的四层质量保证框架，并提出HiT-HAR，一个拥有70.3万参数的层次化模型，在五类动作和八类情景识别上超越了现有的头戴式IMU模型。我们进一步通过逐类可分离性分析，描绘了头戴式IMU的可观测性边界，确定哪些行为类别可靠可观测（运动），哪些受时序上下文帮助（物体转移、任务操作），以及哪些情景相关的信号重叠仍存在挑战。我们的结果表明，利用时序上下文和情景结构的架构选择优于简单放大模型规模。代码和数据集已公开于https://github.com/Harvard-AI-and-Robotics-Lab/HiT-HAR。
引用
@article{arxiv.2605.27464,
title = {Beyond Motion Primitives: Behavioral Activity Recognition from Head-Mounted IMU},
author = {Chung-Ta Huang and Leopold Das and Jeffrey Zhou and Faizaan Siddique and Julia Seungjoo Baek and Serena Liu and Andrew Rusli and Todd Y. Zhou and Freddy Yu and Sinclair Hansen and Ziling Hu and Arnav Sharma and Mengyu Wang},
journal= {arXiv preprint arXiv:2605.27464},
year = {2026}
}