基于评分引导的 3D 人体恢复
计算机视觉与模式识别
2024-03-15 v1
摘要
我们提出一种称为 ScoreHMR 的方法，用于解决 3D 人体姿态和形状重建的逆问题。这些逆问题涉及将人体模型适配到图像观察中，传统上通过优化技术来解决。ScoreHMR 模仿模型拟合方法，但通过在扩散模型的潜空间中进行评分引导来实现与图像观察的对齐。该扩散模型被训练来捕获给定输入图像后，人体模型参数的条件分布。通过使用特定于任务的评分来引导其去噪过程，ScoreHMR 在无需重新训练任务中性扩散模型的情况下，有效地解决了各种应用的逆问题。我们在三个设置/应用上进行了评估：(i)单帧模型拟合；(ii)从多个未校准的视图重建；(iii)从视频序列中重建人体。ScoreHMR 在所有设置下都 consistently 超过所有优化基准，在流行基准上实现了卓越的性能。我们将代码和模型在 https://statho.github.io/ScoreHMR 提供。
引用
@article{arxiv.2403.09623,
title = {Score-Guided Diffusion for 3D Human Recovery},
author = {Anastasis Stathopoulos and Ligong Han and Dimitris Metaxas},
journal= {arXiv preprint arXiv:2403.09623},
year = {2024}
}
备注
CVPR 2024 (project page: https://statho.github.io/ScoreHMR)