挖掘两阶段与单阶段 HOI 检测的优势
计算机视觉与模式识别
2021-10-14 v2
摘要
两阶段方法在人类-物体交互(HOI)检测领域占据主导地位已有数年。近来,单阶段 HOI 检测方法日益流行。本文旨在探究两阶段与单阶段方法的本质优劣。以此为宗旨,我们发现传统两阶段方法主要受制于交互式人-物正样本对的定位,而单阶段方法难以在多任务学习(即目标检测与交互分类)上做出恰当权衡。因此,核心问题是如何从这两类传统方法中取其精华、去其糟粕。为此,我们提出一种新颖的单阶段框架,以级联方式解耦人-物检测与交互分类。具体而言,我们首先基于最先进的单阶段 HOI 检测器,移除其交互分类模块(或头),设计一个人-物对生成器,随后设计一个相对独立的交互分类器对每个⼈-物对进行分类。我们所提框架中的两个级联解码器可各自专注于一项特定任务:检测或交互分类。在具体实现上,我们采用基于 transformer 的 HOI 检测器作为基础模型。新引入的解耦范式大幅优于现有方法,在 HICO-Det 上取得了 9.32% 的显著相对 mAP 提升。源代码见 https://github.com/YueLiao/CDN。
引用
@article{arxiv.2108.05077,
title = {Mining the Benefits of Two-stage and One-stage HOI Detection},
author = {Aixi Zhang and Yue Liao and Si Liu and Miao Lu and Yongliang Wang and Chen Gao and Xiaobo Li},
journal= {arXiv preprint arXiv:2108.05077},
year = {2021}
}
备注
Accepted by NeurIPS 2021