C3T：基于时间的跨模态迁移用于传感器-based 人体活动识别
计算机视觉与模式识别
2025-07-11 v4 人工智能
人机交互
机器学习
信号处理
摘要
为了发掘多种传感器的潜能，我们研究了一种利用人体活动识别（HAR）中的多模态时序表示空间进行时序模态之间知识迁移的方法。具体而言，我们探讨了测试所用模态在训练期间没有标记数据的情况，这种情况我们称为无监督模态适应（Unsupervised Modality Adaptation，UMA）。我们将现有的 UMA 方法分为学生-教师法或对比度对齐方法。这些方法通常在对齐期间将连续时间数据样本压缩为单个潜在向量，从而限制了其通过实际时序扭曲传递时序信息的能力。为此，我们引入基于时间的跨模态迁移（Cross-modal Transfer Through Time，C3T），在对齐过程中保留时序信息，以更好地处理动态传感器数据。C3T 通过对齐不同感知模态上的一组时序潜在向量来实现这一点。我们在各种摄像头+IMU 数据集上的大量实验表明，C3T 在 UMA 中优于现有方法，准确率至少提高 8%，并对时间扭曲（如时间偏移、错位和扩张）表现出优异的鲁棒性。我们的发现表明，C3T 在发展针对时序传感器数据的通用模型方面具有重要潜力，为各种多模态应用开辟了新的研究方向。
引用
@article{arxiv.2407.16803,
title = {C3T: Cross-modal Transfer Through Time for Sensor-based Human Activity Recognition},
author = {Abhi Kamboj and Anh Duy Nguyen and Minh N. Do},
journal= {arXiv preprint arXiv:2407.16803},
year = {2025}
}