RFMask：一种基于无线电信号的人体轮廓分割简单基线
计算机视觉与模式识别
2022-01-26 v1 人工智能
摘要
人体轮廓分割最初定义于计算机视觉领域，在理解人类活动方面已取得令人鼓舞的成果。然而，物理限制使得基于光学相机的现有系统在低光照、烟雾和/或遮挡条件下性能严重退化。为克服此类限制，本文提出利用可穿透障碍物且不受光照条件影响的无线电信号来实现轮廓分割。所提出的 RFMask 框架由三个模块组成：首先通过信号处理模块将毫米波雷达在两个平面上捕获的射频信号变换至空间域并抑制干扰；随后通过人体检测模块在射频帧上定位人体反射并从周围信号中提取特征；最后通过基于注意力的掩码生成模块聚合射频帧提取的特征。为验证所提框架，我们采集了一个包含 804,760 个无线电帧和 402,380 个相机帧的数据集，涵盖多种场景下的人体活动。实验结果表明，即便在传统光学相机方法失效的极具挑战性场景（如低光照与遮挡场景）下，该框架仍能实现出色的人体轮廓分割。据我们所知，这是首次基于毫米波信号进行人体轮廓分割的研究。我们希望本工作可作为基线并启发未来利用无线电信号执行视觉任务的进一步研究。数据集与代码将公开。
引用
@article{arxiv.2201.10175,
title = {RFMask: A Simple Baseline for Human Silhouette Segmentation with Radio Signals},
author = {Zhi Wu and Dongheng Zhang and Chunyang Xie and Cong Yu and Jinbo Chen and Yang Hu and Yan Chen},
journal= {arXiv preprint arXiv:2201.10175},
year = {2022}
}