基于遮罩视频和佩戴式 IMU 自编码器的镜像动作识别
计算机视觉与模式识别
2024-07-10 v1
摘要
与视觉信号相比，佩戴在人体四肢上的惯性测量单元 (IMU) 能在抗光照变化和遮挡的同时捕获准确的运动信号。尽管这些特性直观上对帮助镜像动作识别具有价值，但 IMU 的潜力仍未充分被探索。本文提出一种新方法，将体佩戴 IMU 的运动数据与镜像视频集成。由于多模态标注数据稀缺，我们设计了基于 MAE 的自监督预训练方法，通过建模视觉信号与运动信号间的自然相关性获得强大的多模态表征。为建模跨躯干多个 IMU 设备的复杂关系，我们利用多个 IMU 设备中的协作动力学，提议将人类关节的相对运动特征嵌入图结构。实验表明，本方法在多个公开数据集上实现了最先进的性能。更严酷情景下的实验进一步验证了基于 MAE 的预训练和基于图的 IMU 建模有效性，包括部分 IMU 设备缺失和视频质量损坏，推动了在实际场景中的灵活应用。
引用
@article{arxiv.2407.06628,
title = {Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition},
author = {Mingfang Zhang and Yifei Huang and Ruicong Liu and Yoichi Sato},
journal= {arXiv preprint arXiv:2407.06628},
year = {2024}
}
备注
ECCV 2024