DPoser：作为鲁棒 3D 人体姿态先验的扩散模型
计算机视觉与模式识别
2024-03-26 v2
摘要
本工作旨在构建一个鲁棒的人体姿态先验。然而，由于生物力学约束和多样化的人体运动，这仍然是一个持续的挑战。诸如 VAE 和 NDF 等传统先验在真实性和泛化性方面通常表现出不足，尤其是在处理未见过的含噪姿态时。为了解决这些问题，我们引入了 DPoser，这是一种基于扩散模型构建的鲁棒且通用的人体姿态先验。DPoser 将各种以姿态为中心的任务视为逆问题，并采用变分扩散采样进行高效求解。相应地，结合优化框架设计，DPoser 能够无缝地惠及人体网格恢复、姿态生成、姿态补全和运动去噪任务。此外，由于铰接式姿态与结构化图像之间存在差异，我们提出了截断时间步调度来增强 DPoser 的有效性。我们的方法相较于图像领域中常用的均匀调度展现出显著提升，在人体网格恢复、姿态补全和运动去噪方面分别提高了 5.4%、17.2% 和 3.8%。综合实验表明，DPoser 在多个任务上均优于现有的 SOTA 姿态先验。
引用
@article{arxiv.2312.05541,
title = {DPoser: Diffusion Model as Robust 3D Human Pose Prior},
author = {Junzhe Lu and Jing Lin and Hongkun Dou and Ailing Zeng and Yue Deng and Yulun Zhang and Haoqian Wang},
journal= {arXiv preprint arXiv:2312.05541},
year = {2024}
}
备注
Project Page: https://dposer.github.io; Code Released: https://github.com/moonbow721/DPoser