将测试时优化融入训练的双网络人体网格恢复方法
计算机视觉与模式识别
2024-10-31 v2
摘要
人体网格恢复（HMR）是一项从图像中估计参数化 3D 人体网格的任务。有一类方法首先为此问题训练一个回归模型，然后在测试时针对任何特定样本单独进一步优化预训练的回归模型。然而，预训练模型可能无法为测试时优化提供一个理想的优化起点。受元学习启发，我们将测试时优化融入训练过程，在对所有训练样本真正执行训练优化之前，先对训练批次中的每个样本执行一步测试时优化。通过这种方式，我们获得了一个元模型，其元参数对测试时优化是友好的。在测试时，从元参数开始经过几步测试时优化后，我们获得的 HMR 精度远高于从简单预训练的回归模型开始的测试时优化。此外，我们发现测试时的 HMR 目标与训练时的目标不同，这降低了元模型学习的效果。为了解决这个问题，我们提出了一种双网络架构，统一了训练时和测试时的目标。我们的方法，借助元学习和双网络，优于最先进的基于回归和基于优化的 HMR 方法，这一点已通过大量实验验证。代码可在 https://github.com/fmx789/Meta-HMR 获取。
引用
@article{arxiv.2401.14121,
title = {Incorporating Test-Time Optimization into Training with Dual Networks for Human Mesh Recovery},
author = {Yongwei Nie and Mingxian Fan and Chengjiang Long and Qing Zhang and Jian Zhu and Xuemiao Xu},
journal= {arXiv preprint arXiv:2401.14121},
year = {2024}
}