基于 Wi-Fi 信号的人体轮廓与骨骼视频合成
计算机视觉与模式识别
2022-04-26 v1 人工智能
摘要
无线接入点（AP）的日益普及正推动基于 Wi-Fi 信号的人体感知应用，作为广泛使用的视觉传感器的辅助或替代工具，其中信号能够解决众所周知的视觉相关问题，如光照变化或遮挡。事实上，使用图像合成技术将无线电频率转换到可见光谱，对于获取原本不可得的视觉数据可能至关重要。这种域到域的转换是可行的，因为物体和人均会影响电磁波，引起无线电与光学频率的变化。在文献中，能够推断无线电到视觉特征映射的模型在过去几年中势头渐增，因为频率变化可通过 Wi-Fi AP 的信道状态信息（CSI）在无线电域中观测到，从而实现基于信号的特征提取，例如幅度。基于此，本文提出了一种新颖的双分支生成神经网络，它遵循利用跨模态监督策略的师生设计，有效地将无线电数据映射到视觉特征。后者在视觉域中对基于信号的特征进行约束，以完全替代视觉数据。一旦训练完成，所提方法仅使用 Wi-Fi 信号即可合成人体轮廓与骨骼视频。该方法在公开可用数据上进行了评估，在轮廓与骨骼视频生成方面均取得了显著结果，证明了所提跨模态监督策略的有效性。
引用
@article{arxiv.2203.05864,
title = {Human Silhouette and Skeleton Video Synthesis through Wi-Fi signals},
author = {Danilo Avola and Marco Cascio and Luigi Cinque and Alessio Fagioli and Gian Luca Foresti},
journal= {arXiv preprint arXiv:2203.05864},
year = {2022}
}