可解释前景目标搜索作为一种知识蒸馏
计算机视觉与模式识别
2020-07-23 v2
摘要
本文提出一种用于前景目标搜索 (FoS) 的知识蒸馏方法。给定背景以及一个指定前景位置与尺度的矩形框，FoS 检索某一类别中兼容的前景以用于后续图像合成。同一类别内的前景可归为少数几种模式。每种模式下的实例可任意互换地兼容于任一查询输入。这些实例被称为可互换前景。我们首先给出一条构建包含可互换前景标签的模式级 FoS 数据集的流程。随后依该流程建立了一个基准数据集以供进一步训练与测试。对于所提方法，我们首先训练一个前景编码器以学习可互换前景的表示。接着在知识蒸馏框架下训练一个查询编码器以学习查询-前景兼容性。其旨在从可互换前景迁移知识以监督兼容性的表示学习。查询特征表示被投影到与可互换前景相同的潜空间，从而实现高效且可解释的实例级搜索。此外，模式级搜索能够检索更具可控性、合理性与多样性的前景。所提方法在平均精度均值 (mAP) 评价下，以绝对差异 10.42% 和相对提升 24.06% 优于先前最优方法。大量实验结果亦从多方面证明了其有效性。基准数据集与代码将很快发布。
引用
@article{arxiv.2007.09867,
title = {Interpretable Foreground Object Search As Knowledge Distillation},
author = {Boren Li and Po-Yu Zhuang and Jian Gu and Mingyang Li and Ping Tan},
journal= {arXiv preprint arXiv:2007.09867},
year = {2020}
}
备注
This paper will appear at ECCV 2020