面向 3D 人体姿态估计的语义感知测试时自适应
计算机视觉与模式识别
2025-05-29 v2
摘要
本工作揭示了 3D 人体姿态估计中的语义不对齐问题。在测试时自适应任务中，这种不对齐表现为过度平滑且无引导的预测。平滑化使预测趋向于某种平均姿态。此外，当出现遮挡或截断时，自适应变得完全无引导。为此，我们率先将语义感知的运动先验集成到 3D 姿态估计的测试时自适应中。我们利用视频理解和结构良好的运动-文本空间，在测试时调整模型的运动预测，使其遵循视频语义。此外，我们基于运动-文本相似度引入了缺失 2D 姿态补全。该姿态补全增强了运动先验对遮挡和截断的指导作用。我们的方法显著改进了当前最先进的 3D 人体姿态估计 TTA 技术，在 3DPW 和 3DHP 数据集上 PA-MPJPE 降低了 12% 以上。
引用
@article{arxiv.2502.10724,
title = {Semantics-aware Test-time Adaptation for 3D Human Pose Estimation},
author = {Qiuxia Lin and Rongyu Chen and Kerui Gu and Angela Yao},
journal= {arXiv preprint arXiv:2502.10724},
year = {2025}
}
备注
10 pages, 4 figures