通过对比知识蒸馏改进弱监督视觉定位
计算机视觉与模式识别
2021-04-27 v2 机器学习
摘要
弱监督短语定位旨在仅使用图像-句子对学习区域-短语对应关系。因此，一个主要挑战在于训练期间图像区域与句子短语之间链接的缺失。为应对该挑战，我们在训练时利用一个通用目标检测器，并提出一个考虑区域-短语与图像-句子匹配的对比学习框架。我们的核心创新是基于此学习一个区域-短语打分函数，并进一步据此构造图像-句子打分函数。重要的是，我们的区域-短语打分函数通过从一幅图像-句子对内检测到的目标名称与候选短语之间的软匹配分数中进行蒸馏而学习，而图像-句子打分函数由真值图像-句子对监督。此类打分函数的设计消除了测试时对目标检测的需求，从而显著降低了推理成本。无需额外技巧，我们的方法在视觉短语定位上取得了最优结果，超越了那些在测试时需要昂贵目标检测器的先前方法。
引用
@article{arxiv.2007.01951,
title = {Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation},
author = {Liwei Wang and Jing Huang and Yin Li and Kun Xu and Zhengyuan Yang and Dong Yu},
journal= {arXiv preprint arXiv:2007.01951},
year = {2021}
}