用于人体姿态估计与服装属性分类的统一结构化学习

本文利用结构化学习同时解决两个相互交织的问题：人体姿态估计（HPE）和服装属性分类（GAC），这对各种计算机视觉和多媒体应用具有重要价值。与以往通常分别处理这两个问题的工作不同，我们的方法旨在通过统一的推理过程为 HPE 和 GAC 产生联合最优估计。为此，我们采用一个预处理步骤来检测每幅图像中潜在的人体部位（即一组“候选者”），从而获得可管理的输入空间。这样，HPE 和 GAC 的同时推理被转化为一个结构化学习问题，其中输入是候选集合，输出是人体部位和服装属性的联合标签，联合特征表示包含各种线索，如特定姿态特征、特定服装特征以及编码人体部位与服装属性之间相关性的跨任务特征。此外，我们探索了潜在人体部位周围的“强边缘”证据，以推导面向人体部位的更强大表示。此类证据可以无缝集成到我们的结构化学习模型中作为一种能量函数，学习过程可通过标准的结构化支持向量机（SVM）算法执行。然而，这两个问题的联合结构是一个循环图，阻碍了高效推理。为解决此问题，我们改用迭代过程计算近似最优解，即在每次迭代中固定一个问题的变量。通过这种方式，可以利用动态规划高效地计算出令人满意的解。在两个基准数据集上的实验结果表明，我们的方法达到了最先进的性能。