静态图像中的多任务人体分析：2D/3D姿态、深度图与多部位分割
计算机视觉与模式识别
2019-05-09 v1
摘要
尽管人体分析领域中许多单独任务近来因深度学习方法而获得精度提升，但由于缺乏数据，多任务学习在很大程度上被忽视。新的合成数据集正在发布，以合成生成数据填补这一空白。在本工作中，我们利用此类数据集分析了静态图像中多任务场景下的四项相关人体分析任务。具体而言，我们研究了2D/3D姿态估计、身体部位分割与全身深度估计之间的相关性。这些任务通过著名的堆叠沙漏（Stacked Hourglass）模块学习，使得每个任务特定流与其他流共享信息。主要目标是分析共同训练这四项相关任务如何使各单独任务受益以获得更好的泛化能力。在新发布的SURREAL数据集上的结果表明，所有四项任务均从多任务方法中受益，但受益于不同的任务组合：虽然组合全部四项任务对2D姿态估计提升最大，但2D姿态既未提升3D姿态也未提升全身深度估计。另一方面，2D部位分割可从2D姿态而非3D姿态受益。在所有情况下，正如预期，最大提升出现在那些空间分布、外观和形状上呈现更多变异性的人体部位，例如手腕和脚踝。
引用
@article{arxiv.1905.03003,
title = {Multi-task human analysis in still images: 2D/3D pose, depth map, and multi-part segmentation},
author = {Daniel Sánchez and Marc Oliu and Meysam Madadi and Xavier Baró and Sergio Escalera},
journal= {arXiv preprint arXiv:1905.03003},
year = {2019}
}
备注
8 pages, 4 Figures, 5 Tables, Conference Faces and Gestures 2019