自组合学习发现人-物交互概念
计算机视觉与模式识别
2022-07-26 v2 机器学习
机器人学
摘要
对人-物交互（HOI）的全面理解不仅要求检测一小部分预定义的 HOI 概念（或类别），还要求检测其他合理的 HOI 概念，而当前方法通常未能探索海量未知 HOI 概念（即合理但未知的动词与物体组合）。本文中，1）我们引入一项新颖且具挑战性的任务以实现全面 HOI 理解，称之为 HOI 概念发现；2）我们设计了一种用于 HOI 概念发现的自组合学习框架（或称 SCL）。具体而言，我们在训练期间维护一个在线更新的概念置信度矩阵：1）我们根据概念置信度矩阵为所有组合 HOI 实例分配伪标签以进行自训练；2）我们利用所有组合 HOI 实例的预测更新概念置信度矩阵。因此，所提方法能够对已知与未知 HOI 概念进行学习。我们在数个流行 HOI 数据集上进行了充分实验，以证明所提方法在 HOI 概念发现、物体可供性识别与 HOI 检测上的有效性。例如，所提自组合学习框架将 1）HOI 概念发现在 HICO-DET 上提升超 10%、在 V-COCO 上分别提升超 3%；2）物体可供性识别在 MS-COCO 与 HICO-DET 上提升超 9% mAP；3）稀有优先与非稀有优先未知 HOI 检测相对提升分别超 30% 与 20%。代码公开于 https://github.com/zhihou7/HOI-CL。
引用
@article{arxiv.2203.14272,
title = {Discovering Human-Object Interaction Concepts via Self-Compositional Learning},
author = {Zhi Hou and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.14272},
year = {2022}
}
备注
To Appear in ECCV2022