面向域外人体网格重建的双层在线自适应方法
计算机视觉与模式识别
2021-03-31 v1
摘要
本文研究将预训练的人体网格重建模型适配到域外流式视频这一新问题。然而，大多数基于参数化SMPL模型的方法在新域中表现不佳，新域具有意想不到的、特定于域的属性，例如相机参数、骨骼长度、背景和遮挡。我们的总体思路是在测试视频流上利用额外的时间约束动态微调源模型，从而在不对单个测试帧的2D信息过拟合的情况下缓解域差距。随后的挑战是如何避免2D约束与时间约束之间的冲突。我们提出使用一种名为双层在线自适应（Bilevel Online Adaptation, BOA）的新训练算法来解决该问题，该算法在每次训练迭代中将整体多目标优化过程划分为权重探测与权重更新两步。我们证明BOA在两个人体网格重建基准上取得了最先进的结果。
引用
@article{arxiv.2103.16449,
title = {Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction},
author = {Shanyan Guan and Jingwei Xu and Yunbo Wang and Bingbing Ni and Xiaokang Yang},
journal= {arXiv preprint arXiv:2103.16449},
year = {2021}
}
备注
CVPR 2021, the project page: https://sites.google.com/view/humanmeshboa