驱动人-物体交互检测的提示分布学习交响曲编排
计算机视觉与模式识别
2024-12-12 v1
摘要
基于流行查询转换器架构的人-物体交互（HOI）检测器已取得显著性能。然而，准确识别罕见视觉模式以及区分含糊的 HOI 仍然困难。我们注意到，这些困难可能源于传统检测器查询在代表 diverse intra-category patterns 和 inter-category dependencies 方面的有限容量。为此，我们提出了 Interaction Prompt Distribution Learning（InterProDa）方法。InterProDa 学习多个软提示集合并从各种提示中估计类别分布。它然后将 HOI 查询与类别分布相结合，使其能够代表近乎无限的类内动态和普遍的跨类关系。我们的 InterProDa 检测器在 HICO-DET 和 vcoco 数据集上表现出竞争力。此外，我们的方法可集成到大多数基于转换器的 HOI 检测器中，仅通过 minimal additional parameters 即可显著提升其性能。
引用
@article{arxiv.2412.08506,
title = {Orchestrating the Symphony of Prompt Distribution Learning for Human-Object Interaction Detection},
author = {Mingda Jia and Liming Zhao and Ge Li and Yun Zheng},
journal= {arXiv preprint arXiv:2412.08506},
year = {2024}
}
备注
in Proceedings of the 39th AAAI Conference on Artificial Intelligence (AAAI-25)