化无形为可见：穿墙与遮挡下的动作识别
计算机视觉与模式识别
2019-09-23 v1 机器学习
图像与视频处理
摘要
理解人的动作和交互通常依赖于看见他们。从视觉数据中自动识别动作的过程一直是计算机视觉领域大量研究的主题。但如果光线太暗，或者人被遮挡或在墙后呢？在本文中，我们引入一个神经网络模型，能够在穿墙、遮挡以及弱光条件下检测人的动作。我们的模型以射频（RF）信号为输入，生成 3D 人体骨架作为中间表示，并随时间识别多人的动作和交互。通过将输入转换为基于骨架的中间表示，我们的模型可以从基于视觉和基于射频的数据集中学习，并使两个任务相互促进。我们表明，该模型在可见场景下达到了与基于视觉的动作识别系统相当的准确率，同时在人物不可见时仍能准确工作，从而解决了当今基于视觉的动作识别能力范围之外的场景。
引用
@article{arxiv.1909.09300,
title = {Making the Invisible Visible: Action Recognition Through Walls and Occlusions},
author = {Tianhong Li and Lijie Fan and Mingmin Zhao and Yingcheng Liu and Dina Katabi},
journal= {arXiv preprint arXiv:1909.09300},
year = {2019}
}
备注
ICCV 2019. The first two authors contributed equally to this paper