中文

WS-IMUBench:弱监督方法能否适用于 IMU 基时序动作局部化?

计算机视觉与模式识别 2026-02-03 v1

摘要

IMU 基于的人类活动识别 (HAR) 已使其在 ubiquitous computing 应用中占据重要地位,但其主导的 clip 分类范式无法捕捉真实世界行为的丰富时序结构。这就催生了向 IMU 时序动作局部化 (IMU-TAL) 的转变,该方法在连续流中预测动作类别及其开始/结束时间。然而,当前进展严重受限于需要稠密、帧级边界标注,这些标注成本高昂且难以扩展。为缓解这一瓶颈,我们提出 WS-IMUBench,系统性地研究仅使用序列级标签的弱监督 IMU-TAL (WS-IMU-TAL)。我们不提出新的局部化算法,而是评估 established 弱监督局部化范式(来自音频、图像和视频)在仅使用序列级标签的情况下能否转化到 IMU-TAL。我们在七个公开 IMU 数据集上对七个具有代表性的弱监督方法进行基准测试,产生了超过 3540 次模型训练运行和 7080 次推理评估。基于关于转化性、有效性和洞察的三个研究问题,我们的发现表明:(i) 转化取决于模态,时序域方法通常比基于图像的提案方法更稳定;(ii) 在有利于的数据集(例如具有更长动作和更高维感知的数据集)上,弱监督方法可与竞争力相当;(iii) 主导的失败模式来自短动作、时序模糊和提案质量差。最后,我们概述了推进 WS-IMU-TAL 的具体方向(例如 IMU 特定的提案生成、边界感知目标和更强的时序推理)。除了 individual 结果之外,WS-IMUBench 建立了一个可复现的 benchmarking 模板,包括数据集、协议和分析,加速社区整体推进 WS-IMU-TAL。

关键词

引用

@article{arxiv.2602.01850,
  title  = {WS-IMUBench: Can Weakly Supervised Methods from Audio, Image, and Video Be Adapted for IMU-based Temporal Action Localization?},
  author = {Pei Li and Jiaxi Yin and Lei Ouyang and Shihan Pan and Ge Wang and Han Ding and Fei Wang},
  journal= {arXiv preprint arXiv:2602.01850},
  year   = {2026}
}

备注

Under Review. 28 pages, 9 figures, 6 tables