自然语言监督在基于传感器的人类活动识别中的局限性及其解决方案
机器学习
2024-08-23 v1 计算与语言
计算机视觉与模式识别
摘要
跨模态对比预训练在自然语言与其他模态（如视觉和音频）之间已在多样化任务和领域中展现出惊人的性能和效果。本文我们调查自然语言监督能否用于可穿戴传感器基于人类活动识别 (HAR)，并发现其性能在标准端到端训练和自我监督方面显著不足。我们识别出主要原因包括传感器异质性以及活动描述的稀缺和非多样化。为缓解其影响，我们开发了策略并通过广泛的实验评估其有效性。这些策略在活动识别方面带来显著提升，使性能接近有监督和自我监督训练，同时也支持对未见活动的识别以及视频的跨模态检索。总体而言，本工作为更好的传感器-语言学习铺平了道路，最终促进了使用可穿戴设备进行 HAR 的基础模型开发。
引用
@article{arxiv.2408.12023,
title = {Limitations in Employing Natural Language Supervision for Sensor-Based Human Activity Recognition -- And Ways to Overcome Them},
author = {Harish Haresamudram and Apoorva Beedu and Mashfiqui Rabbi and Sankalita Saha and Irfan Essa and Thomas Ploetz},
journal= {arXiv preprint arXiv:2408.12023},
year = {2024}
}