CycleHOI：基于检测与生成循环一致性提升人物-物体交互检测
计算机视觉与模式识别
2024-07-17 v1
摘要
识别与生成是计算机视觉中的两个基本任务，往往在现有文献中独立进行。然而，这两个任务在本质上高度相关，因为它们都需要理解视觉概念的底层语义。在本文中，我们提出一种新型学习框架，称为CycleHOI，通过桥接基于DETR的检测管道和预训练文本到图像扩散模型，来提升人物-物体交互（HOI）检测性能。我们的关键设计是引入一种新颖的循环一致性损失，用于训练HOI检测器，能够显式地利用扩散模型捕获的知识来指导HOI检测器的训练。具体而言，我们在HOI检测器解码的实例表征之上构建一个额外的生成任务，以强化检测-生成循环一致性。此外，我们对扩散模型的特征提取进行蒸馏，以增强其表示能力。进一步，我们利用扩散模型的生成能力，对训练集进行标签校正和样本生成。我们在两个公开数据集 HICO-DET 和 V-COCO 上对三个 HOI 检测框架进行了广泛实验，以验证CycleHOI 的有效性和普适性。实验结果表明，CycleHOI 能显著提升最先进 HOI 检测器的性能。
引用
@article{arxiv.2407.11433,
title = {CycleHOI: Improving Human-Object Interaction Detection with Cycle Consistency of Detection and Generation},
author = {Yisen Wang and Yao Teng and Limin Wang},
journal= {arXiv preprint arXiv:2407.11433},
year = {2024}
}