GenHPE：基于射频信号的3D人体姿态估计生成性反事实方法
计算机视觉与模式识别
2025-03-13 v1 人工智能
多媒体
信号处理
摘要
人体姿态估计 (HPE) 检测人体关节位置以用于各种应用。与使用相机相比，使用射频 (RF) 信号的 HPE 是非侵入性的，并且对不利条件更具鲁棒性，利用了人类干扰引起的信号变化。然而，现有研究集中于受领域特定混淆因子限制的单领域 HPE，无法泛化到新领域，导致 HPE 性能下降。具体来说，不同人体部位引起的信号变化是纠缠的，包含主体特定的混淆因子。RF 信号也与环境噪声交织在一起，涉及环境特定的混淆因子。在本文中，我们提出了 GenHPE，一种通过生成反事实 RF 信号来消除领域特定混淆因子的三维 HPE 方法。GenHPE 训练以人体骨架标签为条件的生成模型，学习人体部位和混淆因子如何干扰 RF 信号。我们操作骨架标签（即移除身体部位）作为生成模型的反事实条件，以合成反事实 RF 信号。反事实信号之间的差异近似消除了领域特定混淆因子，并正则化编码器-解码器模型以学习领域无关表示。这些表示帮助 GenHPE 泛化到新主体/环境以实现跨域三维 HPE。我们在三个公共数据集上评估 GenHPE，涵盖 WiFi、超宽带和毫米波。实验结果表明 GenHPE 优于最先进方法，并将估计误差降低了最多 52.2mm（跨主体 HPE）和 10.6mm（跨环境 HPE）。
引用
@article{arxiv.2503.09537,
title = {GenHPE: Generative Counterfactuals for 3D Human Pose Estimation with Radio Frequency Signals},
author = {Shuokang Huang and Julie A. McCann},
journal= {arXiv preprint arXiv:2503.09537},
year = {2025}
}