在低数据情况下利用运动线索监督单帧人体姿态和形状估计
计算机视觉与模式识别
2024-02-06 v1 机器学习
摘要
当有足够的标注训练数据时,监督深度学习算法在使用单摄像头估计人体姿态和形状方面表现出色。通过使用其他信息源(如人体形状数据库)来学习先验,可以缓解标注数据过少的影响。不幸的是,这些源也不总是可用的。我们表明,在这种情况下,容易获得的未标注视频可以用来提供所需的监督信号。给定一个使用过少标注数据训练的模型,我们计算连续帧中的姿态以及它们之间的光流。然后,我们强制图像光流与从帧间姿态变化推断出的光流之间的一致性。这提供了足够的额外监督,以有效细化网络权重,并与使用更多标注数据训练的方法表现相当。
引用
@article{arxiv.2402.02736,
title = {Using Motion Cues to Supervise Single-Frame Body Pose and Shape Estimation in Low Data Regimes},
author = {Andrey Davydov and Alexey Sidnev and Artsiom Sanakoyeu and Yuhua Chen and Mathieu Salzmann and Pascal Fua},
journal= {arXiv preprint arXiv:2402.02736},
year = {2024}
}
备注
21 pages; TMLR