基于动态双层在线适应的域外人体网格重建
计算机视觉与模式识别
2021-11-09 v1 图形学
摘要
我们考虑一个新问题：将人体网格重建模型适配到域外流式视频，其中现有基于 SMPL 的模型性能受到由不同相机参数、骨骼长度、背景和遮挡所表征的分布偏移的显著影响。我们通过在线适应来解决该问题，在测试过程中逐步纠正模型偏差。主要存在两个挑战：首先，缺乏 3D 标注增加了训练难度并导致 3D 歧义。其次，非平稳数据分布使得在拟合常规帧与具有严重遮挡或剧烈变化的困难样本之间难以取得平衡。为此，我们提出动态双层在线适应算法（DynaBOA）。它首先引入时间约束以补偿不可用的 3D 标注，并利用双层优化过程解决多目标间的冲突。DynaBOA 通过在与分布偏移无关的情况下高效检索的相似源样本共同训练，提供额外的 3D 指导。此外，它能自适应调整各帧的优化步数，以充分拟合困难样本并避免对常规帧过拟合。DynaBOA 在三个域外人体网格重建基准上取得了最先进的结果。
引用
@article{arxiv.2111.04017,
title = {Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation},
author = {Shanyan Guan and Jingwei Xu and Michelle Z. He and Yunbo Wang and Bingbing Ni and Xiaokang Yang},
journal= {arXiv preprint arXiv:2111.04017},
year = {2021}
}
备注
14 pages, 13 figures; code repositoty: https://github.com/syguan96/DynaBOA