一种通过弥合域差距检测稀有人-物交互的即插即用方法
计算机视觉与模式识别
2024-08-01 v1
摘要
人-物交互（HOI）检测旨在捕获图像中的人-物对及其对应动作，是实现高层视觉推理和场景理解的重要步骤。然而，由于来自真实世界的自然偏差，现有方法大多难以处理稀有人-物对，导致次优结果。最近，随着生成模型的发展，一种直接的方法是基于一组补充样本构建更平衡的数据集。不幸的是，生成数据与原始数据之间存在显著的域差距，简单地将生成的图像合并到原始数据集中无法显著提升性能。为缓解上述问题，我们提出了一种新颖的模型无关框架——上下文增强特征对齐（CEFA）模块，可有效在特征层面对齐生成数据与原始数据，从而弥合域差距。具体而言，CEFA 由特征对齐模块和上下文增强模块组成。一方面，考虑到人-物对信息在 HOI 任务中的关键作用，特征对齐模块通过聚合实例信息来对齐人-物对。另一方面，为缓解传统判别式对齐方法导致的重要上下文信息丢失问题，我们采用上下文增强的图像重建模块来提升模型对上下文线索的学习能力。大量实验表明，我们的方法可作为即插即用模块来提升 HOI 模型在稀有类别上的检测性能。
引用
@article{arxiv.2407.21438,
title = {A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap},
author = {Lijun Zhang and Wei Suo and Peng Wang and Yanning Zhang},
journal= {arXiv preprint arXiv:2407.21438},
year = {2024}
}