milliMamba：基于双极子毫米波雷达的 specular-aware 人体姿态估计
计算机视觉与模式识别
2025-12-24 v1
摘要
毫米波雷达作为一种保护隐私且不受光照影响的RGB传感器，为人体姿态估计（HPE）任务提供了替代方案。然而，由于散射镜面反射导致雷达信号稀疏，难以从雷达信号中提取稳健特征。为此，我们提出了milliMamba，一个基于雷达的二维人体姿态估计框架，联合建模特征提取和解码阶段之间的时空依赖性。具体而言，鉴于雷达输入的高维性，我们采用跨视图融合Mamba编码器，以线性复杂度高效地从更长序列中提取时空特征。随后，时空-跨注意力解码器预测多个帧中的关节坐标。整个时空建模流程使模型能够利用相邻帧和关节之间的上下文线索，以推断因散射镜面反射而遗漏的关节。为强化运动平滑性，我们在训练期间除标准关键点损失外，还加入速度损失。在TransHuPR和HuPR数据集上的实验表明，我们的方法在性能上显著提升，分别超过基线方法11.0个AP和14.6个AP，同时保持合理的复杂度。代码：https://github.com/NYCU-MAPL/milliMamba
引用
@article{arxiv.2512.20128,
title = {milliMamba: Specular-Aware Human Pose Estimation via Dual mmWave Radar with Multi-Frame Mamba Fusion},
author = {Niraj Prakash Kini and Shiau-Rung Tsai and Guan-Hsun Lin and Wen-Hsiao Peng and Ching-Wen Ma and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2512.20128},
year = {2025}
}
备注
Accepted at WACV 2026