SDPose：利用扩散先验进行越域和鲁棒姿态估计
计算机视觉与模式识别
2026-03-16 v3
摘要
预训练扩散模型在 U-Net 各个层级提供丰富的 latent 特征，正在成为强大的视觉 backbone。虽然已有 Marigold 和 Lotus 等方法将扩散先验用于深度和表面法线等稠密几何感知任务，但其在跨域人体姿态估计中的潜力仍未得到充分探索。通过对 Stable Diffusion U-Net 不同上采样层级的 latent 特征进行系统性分析，我们识别出为姿态估计提供最强鲁棒性和跨域泛化能力的层级。基于这些发现，我们提出了 SDPose，其 (i) 从所选上采样块中提取 U-Net 特征， (ii) 与轻量级特征聚合模块融合以形成稳健的表示， (iii) 联合优化关键点 heatmap 监督和一个辅助的 latent 重建 loss 以正则化训练并保留预训练的生成先验。为评估跨域泛化和鲁棒性，我们构建了 COCO-OOD—a 基于 COCO 的基准，包含四个子集：三个风格迁移 split 以评估 domain shift，以及一个 corruption split（噪声、天气、数字瑕疵和模糊）以测试鲁棒性。在较短的 fine-tuning 计划下，SDPose 在 COCO 上的性能相当于 Sapiens，超过 Sapiens-1B 在 COCO-WholeBody 上，并在 HumanArt 和 COCO-OOD 上建立了新的 state-of-the-art 结果。
引用
@article{arxiv.2509.24980,
title = {SDPose: Exploiting Diffusion Priors for Out-of-Domain and Robust Pose Estimation},
author = {Shuang Liang and Jing He and Chuanmeizhi Wang and Lejun Liao and Guo Zhang and Yingcong Chen and Yuan Yuan},
journal= {arXiv preprint arXiv:2509.24980},
year = {2026}
}
备注
22 pages, 10 figures, 8 tables