基于新型一元-成对 Transformer 的高效两阶段人-物交互检测
计算机视觉与模式识别
2022-03-29 v2 人工智能
机器学习
摘要
近期视觉数据 transformer 模型的发展显著提升了识别与检测任务的性能。特别是，使用可学习查询替代区域提议催生了一类以检测 Transformer（DETR）为首的新的一阶段检测模型。此类一阶段方法的变体随后主导了人-物交互（HOI）检测。然而，这类一阶段 HOI 检测器的成功很大程度上可归因于 transformer 的表征能力。我们发现，当配备相同的 transformer 时，其两阶段对应模型可以具有更优的性能和更高的内存效率，同时训练时间仅需一小部分。在本工作中，我们提出 Unary-Pairwise Transformer，一种利用一元与成对表征进行 HOI 的两阶段检测器。我们观察到，transformer 网络的一元与成对部分发生了专门化，前者优先提升正例得分，后者降低负例得分。我们在 HICO-DET 与 V-COCO 数据集上评估了我们的方法，并显著优于当前最优方法。在推理时，我们基于 ResNet50 的模型在单块 GPU 上接近实时性能。
引用
@article{arxiv.2112.01838,
title = {Efficient Two-Stage Detection of Human-Object Interactions with a Novel Unary-Pairwise Transformer},
author = {Frederic Z. Zhang and Dylan Campbell and Stephen Gould},
journal= {arXiv preprint arXiv:2112.01838},
year = {2022}
}
备注
Accepted to CVPR2022. 14 pages, 14 figures and 5 tables