MetaFi：基于商用WiFi的无设备姿态估计用于元宇宙化身仿真
计算机视觉与模式识别
2022-08-23 v1 人工智能
人机交互
摘要
化身(avatar)是物理用户在虚拟世界中的代表，可参与不同活动并与元宇宙中的其他对象交互。仿真化身需要精确的人体姿态估计。尽管基于摄像头的方案取得了卓越性能，但其面临隐私问题以及由光照变化引起的性能下降，尤其在智能家居中。本文提出一种用于元宇宙化身仿真的基于WiFi的物联网人体姿态估计方案，即MetaFi。具体而言，设计了一个具有定制卷积层和残差块的深度神经网络，将信道状态信息映射到人体姿态关键点。该网络被强制从精确的计算机视觉模型中学习标注，从而实现跨模态监督。WiFi无处不在且对光照鲁棒，使其成为智能家居中化身应用的可行方案。实验在真实世界中开展，结果表明MetaFi取得了极高性能，PCK@50达到95.23%。
引用
@article{arxiv.2208.10414,
title = {MetaFi: Device-Free Pose Estimation via Commodity WiFi for Metaverse Avatar Simulation},
author = {Jianfei Yang and Yunjiao Zhou and He Huang and Han Zou and Lihua Xie},
journal= {arXiv preprint arXiv:2208.10414},
year = {2022}
}
备注
6 pages, 3 figures, 3 tables