告诉我他们拿着什么：利用人机交互可迁移知识进行弱监督目标检测
计算机视觉与模式识别
2019-11-20 v1 机器学习
摘要
在这项工作中，我们引入了一种新颖的弱监督目标检测（WSOD）范式，利用来自人机交互（HOI）的可迁移知识来检测属于示例不多的稀有类别的物体。尽管 WSOD 性能低于全监督，我们主要关注 HOI 作为可强监督图像中复杂语义的主要上下文。因此，我们提出了一种称为 RRPN（关系区域提议网络）的新模块，其仅利用人体姿态和动作动词输出物体定位注意力图。在源域中，我们在 HOI 的全监督下充分训练目标检测器和 RRPN。利用训练好的 RRPN 迁移的定位图知识，新的目标检测器可在目标域中仅借助 HOI 的弱语言监督、无需边界框标注来学习未见物体。由于 RRPN 被设计为附加型，我们不仅可以将其应用于目标检测，还可应用于语义分割等其他领域。在 HICO-DET 数据集上的实验结果表明，所提方法有可能成为当前监督目标检测范式的廉价替代方案。此外，定性结果显示我们的模型能在 HICO-DET 和 V-COCO 数据集上正确定位未见物体。
引用
@article{arxiv.1911.08141,
title = {Tell Me What They're Holding: Weakly-supervised Object Detection with Transferable Knowledge from Human-object Interaction},
author = {Daesik Kim and Gyujeong Lee and Jisoo Jeong and Nojun Kwak},
journal= {arXiv preprint arXiv:1911.08141},
year = {2019}
}
备注
AAAI 2020 Oral Camera Ready