基于解码路径增强的一致性学习用于 Transformer 的人-物交互检测
计算机视觉与模式识别
2022-04-12 v1
摘要
人-物交互（HOI）检测是一项整体视觉识别任务，需要目标检测与交互分类。以往的 HOI 检测工作通过子集预测的各种组合来解决，例如 Image -> HO -> I、Image -> HI -> O。近来，基于 Transformer 的 HOI 架构应运而生，其以端到端方式直接预测 HOI 三元组（Image -> HOI）。受 HOI 检测多种推理路径的启发，我们提出跨路径一致性学习（CPC），这是一种新颖的端到端学习策略，通过利用增强的解码路径来改进 Transformer 的 HOI 检测。CPC 学习强制来自置换推理序列的所有可能预测保持一致。这一简单方案使模型学习一致的表征，从而在不增加模型容量的前提下提升泛化能力。我们的实验证明了方法的有效性，并且相较于基线模型，我们在 V-COCO 和 HICO-DET 上取得了显著改进。我们的代码可在 https://github.com/mlvlab/CPChoi 获取。
引用
@article{arxiv.2204.04836,
title = {Consistency Learning via Decoding Path Augmentation for Transformers in Human Object Interaction Detection},
author = {Jihwan Park and SeungJun Lee and Hwan Heo and Hyeong Kyu Choi and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2204.04836},
year = {2022}
}
备注
CVPR2022 accepted