基于引导提议与语义知识蒸馏的视觉关系检测
计算机视觉与模式识别
2018-05-29 v1
摘要
对图像内容的透彻理解需要对自然世界中可能出现的相互作用有复杂的把握。关键问题之一是描述物体之间的视觉关系。在处理真实世界数据时，捕捉这些极为多样的相互作用是一个困难的问题。可通过在网络中融入常识来缓解。为此，我们提出一种利用语义知识并在训练与测试阶段估计物体对相关性的框架。该信息提取自预计算模型与训练标注，并被蒸馏到专用于此任务的神经网络中。使用该方法，我们在具有挑战性的视觉关系数据集 Visual Genome 的所有类别上观察到显著提升。在召回率 at 100 上 68.5% 的相对增益直接源于相关性估计，32.7% 的增益源于知识蒸馏。
引用
@article{arxiv.1805.10802,
title = {Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation},
author = {François Plesse and Alexandru Ginsca and Bertrand Delezoide and Françoise Prêteux},
journal= {arXiv preprint arXiv:1805.10802},
year = {2018}
}
备注
Accepted submission to ICME 2018