基于概念引导记忆的高效自适应人-物交互检测
计算机视觉与模式识别
2023-09-08 v1
摘要
人-物交互（Human Object Interaction, HOI）检测旨在定位并推断人与物体之间的关系。可以说，由于罕见类上的性能下降，以及在真实场景中处理复杂HOI场景里HOI长尾分布所需的高计算成本与时间，从头训练该任务的监督模型面临挑战。这一观察促使我们设计一种即便使用长尾标注数据也能训练、并能利用预训练模型已有知识的HOI检测器。受大型视觉-语言模型（Vision-Language Models, VLM）在分类与检索任务上强大泛化能力的启发，我们提出了一种基于概念引导记忆的高效自适应HOI检测器（ADA-CM）。ADA-CM有两种运行模式。第一种模式以免训练范式在不学习新参数的情况下可调。其第二种模式引入了实例感知适配器机制，若可承受更新一小组轻量参数，则能进一步高效提升性能。我们提出的方法在HICO-DET和V-COCO数据集上以远少得多的训练时间取得了与最先进（state-of-the-art）方法具竞争力的结果。代码见https://github.com/ltttpku/ADA-CM。
引用
@article{arxiv.2309.03696,
title = {Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory},
author = {Ting Lei and Fabian Caba and Qingchao Chen and Hailin Jin and Yuxin Peng and Yang Liu},
journal= {arXiv preprint arXiv:2309.03696},
year = {2023}
}