面向人体活动识别的带难负样本采样的多模态对比学习
计算机视觉与模式识别
2023-09-06 v1 人机交互
机器学习
信号处理
摘要
人体活动识别（HAR）系统因其在智能家居、监控和健康监测等日常生活中的实际应用，已被视觉与普适计算领域广泛研究。通常，该过程本质上为监督式，此类系统的开发需要访问大量标注数据。然而，获取高质量标注的较高成本与挑战使得自监督方法的应用颇具吸引力，而对比学习即为其中之一。然而，成功对比学习的一个主要组成部分是良好正样本与负样本的选择。尽管正样本可直接获得，采样良好的负样本仍具挑战。由于人体活动可由相机与 IMU 传感器等多种模态记录，我们提出一种用于多模态 HAR 的难负样本采样方法，并带有针对骨架与 IMU 数据对的难负样本采样损失。我们利用与锚点标签不同但在潜空间中被投影至邻近处的难负样本，使用可调浓度参数。通过在两个基准数据集 UTD-MHAD 与 MMAct 上的广泛实验，我们证明了我们的方法在为 HAR 任务及有限数据设定下学习强特征表征的鲁棒性。我们进一步表明，即使在下游活动识别中使用单模态数据，我们的模型在 UTD-MHAD 数据集上优于所有其他最先进方法，并在 MMAct：跨会话上优于自监督方法。
引用
@article{arxiv.2309.01262,
title = {Multimodal Contrastive Learning with Hard Negative Sampling for Human Activity Recognition},
author = {Hyeongju Choi and Apoorva Beedu and Irfan Essa},
journal= {arXiv preprint arXiv:2309.01262},
year = {2023}
}