OCHID-Fi：基于射频视觉的遮挡鲁棒三维手部姿态估计
计算机视觉与模式识别
2023-08-22 v1 机器学习
摘要
手部姿态估计（HPE）对许多应用至关重要，但传统的基于摄像机的CM-HPE方法完全受制于视距（LoS），因为摄像机无法捕捉被遮挡的物体。本文提出利用能够绕过障碍物的射频视觉（RF-vision）来实现遮挡下的手部姿态估计，并引入OCHID-Fi作为首个具备三维姿态估计能力的RF-HPE方法。OCHID-Fi采用智能设备（如iPhone）上广泛可用的宽带RF传感器来探测三维人手姿态并提取障碍物后的人体骨架。为克服RF成像因人类难以理解而带来的标注难题，OCHID-Fi采用跨模态与跨域训练过程：利用预训练的CM-HPE网络及同步的CM/RF数据集，在LoS条件下指导其复值RF-HPE网络的训练；进一步通过对抗学习将已标注LoS域中学到的知识迁移至未标注遮挡域，使OCHID-Fi能泛化至未见过的遮挡场景。实验结果表明OCHID-Fi的优越性：其在正常条件下达到与CM-HPE相当的精度，而在遮挡场景中仍保持该精度，并有经验证据证其实对新域的泛化能力。
引用
@article{arxiv.2308.10146,
title = {OCHID-Fi: Occlusion-Robust Hand Pose Estimation in 3D via RF-Vision},
author = {Shujie Zhang and Tianyue Zheng and Zhe Chen and Jingzhi Hu and Abdelwahed Khamis and Jiajun Liu and Jun Luo},
journal= {arXiv preprint arXiv:2308.10146},
year = {2023}
}
备注
Accepted to ICCV 2023