单目视频上用于3D人体网格重建的循环测试时自适应
计算机视觉与模式识别
2023-08-15 v1
摘要
尽管3D人体网格重建近期取得进展，训练与测试数据间的域差距仍是一大挑战。若干先前工作通过测试时自适应解决域差距问题，该方法依赖测试图像的2D证据（如2D人体关键点）微调网络。然而，自适应过程中对2D证据的高度依赖引发两个主要问题。其一，2D证据引发深度歧义，阻碍准确3D人体几何的学习。其二，测试时2D证据含噪或部分缺失，此类不完美的2D证据导致错误的自适应。为克服上述问题，我们引入CycleAdapt，其在给定测试视频下循环自适应两个网络：人体网格重建网络（HMRNet）与人体运动去噪网络（MDNet）。在我们的框架中，为减轻对2D证据的高度依赖，我们使用MDNet生成的3D监督目标对HMRNet进行全监督。我们的循环自适应方案逐步精炼3D监督目标，以弥补不完美2D证据。结果表明，与先前测试时自适应方法相比，我们的CycleAdapt取得了最先进性能。代码见 https://github.com/hygenie1228/CycleAdapt_RELEASE。
引用
@article{arxiv.2308.06554,
title = {Cyclic Test-Time Adaptation on Monocular Video for 3D Human Mesh Reconstruction},
author = {Hyeongjin Nam and Daniel Sungho Jung and Yeonguk Oh and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2308.06554},
year = {2023}
}
备注
Published at ICCV 2023, 16 pages including the supplementary material