椅子可被站立：克服人-物交互检测中的对象偏置
计算机视觉与模式识别
2022-07-07 v1 多媒体
摘要
检测图像中的人-物交互（HOI）是迈向高层视觉理解的重要一步。已有工作通常侧重于改进人或对象检测，或交互识别。然而，由于数据集的局限，这些方法往往更拟合于在检测到的对象条件下频繁出现的交互，而很大程度上忽略稀有交互，本文称之为对象偏置问题。本工作中，我们首次从两个方面揭示该问题：不平衡的交互分布与有偏的模型学习。为克服对象偏置问题，我们提出一种新颖的即插即用对象级去偏记忆（ODM）方法，用于重新平衡检测对象下的交互分布。借助精心设计的读写策略，所提ODM使稀有交互实例能更频繁地被采样用于训练，从而缓解由不平衡交互分布引发的对象偏置。我们将该方法应用于三个先进基线，并在HICO-DET和HOI-COCO数据集上实验。为定量研究对象偏置问题，我们倡导一种评估模型性能的新协议。如实验结果所示，我们的方法相较基线带来一致且显著的提升，尤其在每类对象下的稀有交互上。此外，在常规标准设定下评估时，我们的方法在两个基准上达到了新的state-of-the-art。
引用
@article{arxiv.2207.02400,
title = {Chairs Can be Stood on: Overcoming Object Bias in Human-Object Interaction Detection},
author = {Guangzhi Wang and Yangyang Guo and Yongkang Wong and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2207.02400},
year = {2022}
}