Iwin：基于不规则窗口 Transformer 的人-物交互检测
计算机视觉与模式识别
2022-10-21 v2
摘要
本文提出一种名为 Iwin Transformer 的新型视觉 Transformer，专为人与物体交互（HOI）检测而设计；该细粒度场景理解任务包含人与物体检测及交互识别的顺序过程。Iwin Transformer 是一种分层 Transformer，在不规则窗口内逐步进行词元表示学习与词元聚合。不规则窗口通过以学习偏移增强规则网格位置实现，其 1）消除词元表示学习中的冗余，从而实现高效的人/物体检测；2）使聚合词元能与不同形状的人/物体对齐，从而促进用于交互识别的高度抽象视觉语义的获取。Iwin Transformer 的有效性与效率在两个标准 HOI 检测基准数据集 HICO-DET 和 V-COCO 上得到验证。结果表明，我们的方法以更少训练轮次（）大幅优于现有基于 Transformer 的方法（HICO-DET 上提升 3.7 mAP，V-COCO 上提升 2.0 mAP）。
引用
@article{arxiv.2203.10537,
title = {Iwin: Human-Object Interaction Detection via Transformer with Irregular Windows},
author = {Danyang Tu and Xiongkuo Min and Huiyu Duan and Guodong Guo and Guangtao Zhai and Wei Shen},
journal= {arXiv preprint arXiv:2203.10537},
year = {2022}
}
备注
Accepted to ECCV 2022