AMIL：用于人体姿态估计的对抗式多示例学习
计算机视觉与模式识别
2020-03-19 v1
摘要
人体姿态估计在从人机交互到监控以及基于内容的视频检索等广泛应用中具有重要影响。对于人体姿态估计，关节遮挡与人体相互重叠会导致姿态估计出现偏差。为解决这些问题，我们通过整合人体结构的先验知识，提出了一种新颖的结构感知网络，以在训练过程中审慎地考虑此类先验。通常，学习此类约束是一项具有挑战性的任务。为此，我们提出以生成对抗网络作为学习模型，其中设计了两个架构相同的残差多示例学习（MIL）模型，一个用作生成器，另一个用作判别器。判别器的任务是区分真实姿态与伪造姿态。若姿态生成器生成的结果使判别器无法与真实姿态区分，则模型已成功学习到先验知识。在所提模型中，判别器区分真实热力图与生成热力图，随后对抗损失反向传播至生成器。该过程有助于生成器学习合理的身体构型，并被证明有利于提高姿态估计精度。同时，我们提出了一种新颖的 MIL 函数。它是一种用于实例选择与建模的可调结构，以在单个包内的实例间适当地传递信息。在所提残差 MIL 神经网络中，池化操作充分更新了实例对其包的 contribution。所提基于池化的对抗残差多示例神经网络已在两个人姿态估计任务数据集上得到验证，并成功优于其他 SOTA 模型。
引用
@article{arxiv.2003.08002,
title = {AMIL: Adversarial Multi Instance Learning for Human Pose Estimation},
author = {Pourya Shamsolmoali and Masoumeh Zareapoor and Huiyu Zhou and Jie Yang},
journal= {arXiv preprint arXiv:2003.08002},
year = {2020}
}