基于IMU的跨模态迁移学习在人类活动识别中的综述

尽管我们生活在一个多感官的世界中，但大多数人工智能模型仅限于对人类运动和行为的文本与视觉理解。实际上，对人类运动的完整情境感知最好通过传感器组合来实现。在本综述中，我们研究了知识如何在模态之间转移并用于人类活动/动作识别（HAR），即跨模态迁移学习。我们阐述了IMU数据的重要性及其在跨模态学习中的适用性，以及研究HAR问题的重要性。我们按时间和抽象程度对HAR相关任务进行分类，然后比较了多种类型的多模态HAR数据集。我们还区分并阐述了文献中许多相关但使用不一致的术语，如迁移学习、域自适应、表示学习、传感器融合和多模态学习，并描述了跨模态学习如何与这些概念相契合。随后，我们回顾了基于IMU的跨模态迁移在HAR中的文献。跨模态迁移的两种主要方法是基于实例的迁移（其中一种模态的实例映射到另一种模态，例如知识在输入空间中迁移）和基于特征的迁移（其中模型在中间潜在空间中关联模态，例如知识在特征空间中迁移）。最后，我们讨论了跨模态HAR的未来研究方向和应用。