惯性幻觉——当可穿戴惯性设备开始看见事物
计算机视觉与模式识别
2022-07-15 v1
摘要
我们提出一种用于环境辅助生活（AAL）的多模态传感器融合新方法，其利用了基于特权信息的学习（LUPI）。我们解决了标准多模态方法的两个主要缺陷：有限区域覆盖与可靠性降低。我们的新框架将模态幻觉与三元组学习融合，以训练具有不同模态的模型来处理推理时缺失传感器的问题。我们在来自可穿戴加速度计设备的惯性数据上评估所提模型，使用 RGB 视频与骨架作为特权模态，并在 UTD-MHAD 数据集上显示出平均 6.6% 的准确率提升，在 Berkeley MHAD 数据集上平均提升 5.5%，达到了这些数据集上仅用惯性分类准确率的新 SOTA。我们通过若干消融研究验证了我们的框架。
引用
@article{arxiv.2207.06789,
title = {Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things},
author = {Alessandro Masullo and Toby Perrett and Tilo Burghardt and Ian Craddock and Dima Damen and Majid Mirmehdi},
journal= {arXiv preprint arXiv:2207.06789},
year = {2022}
}