MESEN：利用多模态数据设计少标签单模态人类活动识别
机器学习
2024-04-03 v1
摘要
人类活动识别（HAR）将成为各种新兴应用的核心功能。然而，HAR 通常面临模态限制和标签稀缺的挑战，导致当前解决方案与实际需求之间存在应用差距。本文提出了 MESEN，一种多模态赋能的单模态感知框架，利用 HAR 模型设计阶段可用的无标签多模态数据，来增强部署阶段的单模态 HAR。基于监督多模态融合对单模态特征提取影响的研究，MESEN 在多模态辅助预训练阶段被设计为具有多任务机制。通过整合跨模态特征对比学习和多模态伪分类对齐，MESEN 利用无标签多模态数据为每种模态提取有效的单模态特征。随后，MESEN 仅需少量有标签样本即可适应下游单模态 HAR。在八个公开多模态数据集上的大量实验表明，通过利用多模态数据，MESEN 在增强单模态 HAR 方面取得了优于 SOTA 基线的显著性能提升。
引用
@article{arxiv.2404.01958,
title = {MESEN: Exploit Multimodal Data to Design Unimodal Human Activity Recognition with Few Labels},
author = {Lilin Xu and Chaojie Gu and Rui Tan and Shibo He and Jiming Chen},
journal= {arXiv preprint arXiv:2404.01958},
year = {2024}
}
备注
Accepted to the 21th ACM Conference on Embedded Networked Sensor Systems (SenSys 2023)