MobiDiary：基于可穿戴设备与无线信号的自回归动作描述
计算机视觉与模式识别
2026-01-14 v1
摘要
智能家居中的人类活动识别（HAR）对于健康监测与助老生活至关重要。虽然视觉系统常见，但面临隐私问题及环境限制（如遮挡）。本文提出 MobiDiary 框架，从异构物理信号（具体为 IMU 与 Wi-Fi）生成日常活动的自然语言描述。不同于传统方法限制输出为预定义标签，MobiDiary 产生富有表现力的人类可读摘要。为弥合连续嘈杂物理信号与离散语言描述之间的语义鸿沟，本文提出统一传感器编码器。不依赖于模组特化工程，利用运动引发信号的共享归纳偏置——惯性与无线数据均反映底层运动学动力学。具体而言，编码器采用基于补丁的机制捕获局部时间相关性，集成异构布置嵌入以统一不同传感器的空间语境。这些统一信号标记随后输入基于 Transformer 的解码器，采用自回归机制逐词生成连贯的动作描述。我们在多个公开基准（XRF V2、UWash、WiFiTAD）上进行全面评估。实验结果表明，MobiDiary 能有效跨模态泛化，取得 BLEU@4、CIDEr、RMC 等描述指标的状态最佳成绩，并在连续动作理解中超越专业基线。
关键词
引用
@article{arxiv.2601.08204,
title = {MobiDiary: Autoregressive Action Captioning with Wearable Devices and Wireless Signals},
author = {Fei Deng and Yinghui He and Chuntong Chu and Ge Wang and Han Ding and Jinsong Han and Fei Wang},
journal= {arXiv preprint arXiv:2601.08204},
year = {2026}
}
备注
Under Review