基于一次性学习的物体关系检测
计算机视觉与模式识别
2018-07-17 v1
摘要
检测物体之间的关系，如“猫在沙发上”和“人骑马”，是图像理解中的一项关键任务，并有助于弥合图像与自然语言之间的语义鸿沟。尽管深度学习在单个物体的检测与识别方面取得了显著进展，但由于各类物体关系复杂的组合性质，定位和识别物体间关系仍是一项具有挑战性的任务。受近期一次性学习进展的启发，我们提出了一种简单而有效的语义诱导学习器（SIL）模型来解决这一挑战性任务。以一次性方式学习可使检测模型有效且鲁棒地适应大量具有不同外观的物体关系。此外，SIL结合了自底向上和自顶向下的注意力机制，从而有利于在视觉和语义层面进行注意力分配。在我们提出的模型中，基于Faster R-CNN的自底向上机制提出物体区域，自顶向下机制根据语义信息选择并整合视觉特征。实验在两个大规模物体关系检测数据集上证明了我们的框架相对于其他最先进方法的有效性。
关键词
引用
@article{arxiv.1807.05857,
title = {Object Relation Detection Based on One-shot Learning},
author = {Li Zhou and Jian Zhao and Jianshu Li and Li Yuan and Jiashi Feng},
journal= {arXiv preprint arXiv:1807.05857},
year = {2018}
}