通过短语学习与标签组合改进人-物交互检测
计算机视觉与模式识别
2022-01-19 v2
摘要
人-物交互（HOI）检测是高级以人为中心场景理解中的一项基础任务。我们提出 PhraseHOI，包含一个 HOI 分支和一个新颖的短语分支，以利用语言先验并改进关系表达。具体而言，短语分支由语义嵌入监督，其真值由原始 HOI 标注自动转换而来，无需额外人工。同时，提出一种新颖的标签组合方法来处理 HOI 中的长尾问题，该方法通过语义近邻组合出新短语标签。此外，为优化短语分支，提出了一种由蒸馏损失和平衡三元组损失组成的损失。大量实验证明了所提 PhraseHOI 的有效性，其在具有挑战性的 HICO-DET 基准的 Full 和 NonRare 上相比基线取得显著提升，并超越了以往的 SOTA 方法。
引用
@article{arxiv.2112.07383,
title = {Improving Human-Object Interaction Detection via Phrase Learning and Label Composition},
author = {Zhimin Li and Cheng Zou and Yu Zhao and Boxun Li and Sheng Zhong},
journal= {arXiv preprint arXiv:2112.07383},
year = {2022}
}
备注
Accepted to AAAI2022