3DHR-Co:一种面向野外 3D 人体重建任务的协同测试时精化框架
计算机视觉与模式识别
2023-12-29 v1
摘要
近年来,利用参数化姿态与形状表示的 3D 人体重建(简称 3DHR)领域取得了显著进展。然而,将 3DHR 技术应用于处理真实世界多样化场景(即野外数据)仍面临局限。主要挑战在于,由于多种因素,为野外场景获取准确的 3D 人体姿态真值(GT)仍十分困难。近期关于 3DHR 的测试时精化方法利用初始的 2D 现成人体关键点信息,以弥补野外数据上 3D 监督的缺失。但我们观察到,仅额外的 2D 监督会导致常见 3DHR 骨干网络过拟合,使 3DHR 测试时精化任务看似难以处理。我们提出一种在协同方法下补充 3DHR 测试时精化工作的策略以应对该挑战。具体而言,我们首先应用一种预适应方法,通过在单一框架中协同多种 3DHR 模型来直接改进其初始输出。该方法随后在特定设置下与测试时适应工作进一步结合,以最小化过拟合问题,从而进一步提升 3DHR 性能。整个框架称为 3DHR-Co,在实验方面,我们表明所提工作能显著增强常见经典 3DHR 骨干网络得分,最高实现 -34 mm 姿态误差抑制,使其跻身野外基准数据上的顶尖之列。这一成就表明,我们的方法有助于释放常见经典 3DHR 骨干网络的真正潜力。基于这些发现,我们进一步探究所提框架的多种设置,以更好地阐述我们的协同方法在 3DHR 任务中的能力。
引用
@article{arxiv.2310.01291,
title = {3DHR-Co: A Collaborative Test-time Refinement Framework for In-the-Wild 3D Human-Body Reconstruction Task},
author = {Jonathan Samuel Lumentut and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2310.01291},
year = {2023}
}
备注
12 pages, 7 figures