ADHMR：基于直接偏好优化对扩散模型的人体网格恢复进行对齐
计算机视觉与模式识别
2025-05-23 v2
摘要
从单张图像进行人体网格恢复 (HMR) 本质上是困难的 due to depth ambiguity and occlusions. 概率方法尝试通过生成大量合理的 3D 人体网格预测来解决此问题，但这些方法往往 exhibit 与 2D 图像观察的错位以及对野外图像的鲁棒性较差。为此，我们提出 ADHMR，一个以偏好优化方式对齐扩散模型的 HMR 模型的框架。首先，我们训练一个人体网格预测评估模型 HMR-Scorer，能够即使没有 3D 注释也能评估野外图像的预测。我们随后使用 HMR-Scorer 创建一个偏好数据集，其中每个输入图像都有一个获胜者和失败者的网格预测。该数据集用于直接偏好优化微调基础模型。此外，HMR-Scorer 还能通过数据清洗来提高现有 HMR 模型的性能，即使训练样本较少也能实现。广泛的实验表明，ADHMR 超过当前最先进的方法。代码可在 https://github.com/shenwenhao01/ADHMR 查阅。
关键词
引用
@article{arxiv.2505.10250,
title = {ADHMR: Aligning Diffusion-based Human Mesh Recovery via Direct Preference Optimization},
author = {Wenhao Shen and Wanqi Yin and Xiaofeng Yang and Cheng Chen and Chaoyue Song and Zhongang Cai and Lei Yang and Hao Wang and Guosheng Lin},
journal= {arXiv preprint arXiv:2505.10250},
year = {2025}
}
备注
Accepted to ICML 2025. Code: https://github.com/shenwenhao01/ADHMR