HARMES：面向可穿戴人类活动识别的多模态数据集，包含运动、环境感知与声音
机器学习
2026-05-05 v1
摘要
鉴于每种感知模态都具有各自的优势与局限，针对可穿戴人类活动识别（HAR）的多模态方法正变得越来越重要，尤其是对于识别日常活动（ADL），因为单个模态常常对相似或复杂活动产生模糊信号。本工作引入 HARMES，一个结合三种手腕记录模态的多模态数据集：通过惯性测量单元（IMU）实现的运动感知、大气环境传感器（湿度、温度和气压）以及音频。该数据集来自 20 名参与者在自居家中进行日常活动时的记录，HARMES 总计超过 80 小时的记录数据，约每位参与者有约 3 小时的标记活动数据，覆盖 15 类 ADL。据我们所知，HARMES 是首个组合此特定传感器三元组的数据集，且规模是目前最大的手腕-惯性-声音 HAR 数据集的近 6 倍。在一项广泛的基准测试中，我们评估了跨主体的泛化性能，并进行了消融研究，揭示了模态贡献是活动相关的，并且对于仅凭运动数据模糊的活动特别具有补充价值。HARMES 免费提供于 Zenodo，并附带 GitHub 上的示例代码，用于加载数据集和训练模型。
引用
@article{arxiv.2605.02596,
title = {HARMES: A Multi-Modal Dataset for Wearable Human Activity Recognition with Motion, Environmental Sensing and Sound},
author = {Robin Burchard and Pascal-André Brückner and Marius Bock and Juergen Gall and Kristof Van Laerhoven},
journal= {arXiv preprint arXiv:2605.02596},
year = {2026}
}