IMU2CLIP：基于第一视角视频与文本的 IMU 运动传感器多模态对比学习
计算机视觉与模式识别
2022-10-27 v1 计算与语言
机器学习
摘要
我们提出了 IMU2CLIP，一种新颖的预训练方法，通过将惯性测量单元（IMU）运动传感器记录投影到对比语言-图像预训练（CLIP）的联合表示空间中，实现其与视频和文本的对齐。所提出的方法使 IMU2CLIP 能够将人体运动（由 IMU 传感器测量）转换为对应的文本描述和视频，同时保持这些模态间的传递性。我们探索了 IMU2CLIP 使能的几种基于 IMU 的新应用，例如基于运动的媒体检索和涉及运动数据的自然语言推理任务。此外，我们展示了 IMU2CLIP 在针对每个应用（例如活动识别）进行微调时能显著提升下游性能，证明了 IMU2CLIP 作为一种新型预训练资源的通用性。我们的代码将公开发布。
引用
@article{arxiv.2210.14395,
title = {IMU2CLIP: Multimodal Contrastive Learning for IMU Motion Sensors from Egocentric Videos and Text},
author = {Seungwhan Moon and Andrea Madotto and Zhaojiang Lin and Alireza Dirafzoon and Aparajita Saraf and Amy Bearman and Babak Damavandi},
journal= {arXiv preprint arXiv:2210.14395},
year = {2022}
}