用于遮挡行人检测的互监督特征调制网络

最先进的行人检测器在非遮挡行人上已取得显著进展，但在严重遮挡下仍表现不佳。当前流行的两阶段方法处理遮挡的策略是借助额外的可见身体标注构建双分支架构。然而，这些方法仍存在若干弱点：要么两个分支独立训练且仅在分数层融合，无法保证检测器学到足够鲁棒的行人特征；要么利用注意力机制仅强调可见身体特征。但严重遮挡行人的可见身体特征集中于相对较小区域，易导致漏检。为解决上述问题，本文提出一种新颖的互监督特征调制（MSFM）网络，以更好地处理遮挡行人检测。我们网络中的核心MSFM模块计算同一行人全身框与可见身体框的相似度损失，从而使全身检测器在遮挡部分上下文特征的辅助下学习更完整、鲁棒的行人特征。为便于MSFM模块，我们还提出一种新颖的双分支架构，由一个标准全身检测分支和一个额外的可见身体分类分支组成。这两个分支分别以全身标注和可见身体标注以互监督方式训练。为验证所提方法的有效性，我们在Caltech和CityPersons两个具挑战性的行人数据集上进行了大量实验，我们的方法在两者上均优于其他最先进方法，尤其在严重遮挡情况下。