用于知识迁移的非对称度量学习
计算机视觉与模式识别
2020-07-01 v1
摘要
近期，从大型教师模型向更小学生模型的知识迁移已在度量学习中被研究，重点在于细粒度分类。本文中，我们关注实例级图像检索，研究一种非对称测试任务，其中数据库由教师表示而查询由学生表示。受此任务启发，我们引入非对称度量学习，一种在训练时使用非对称表示的新型范式。这充当了知识迁移与原始度量学习任务的一种简单结合。我们在新的非对称测试以及标准对称测试任务（数据库和查询由同一模型表示）上，系统评估了不同的教师与学生模型、度量学习和知识迁移损失函数。我们发现，与更复杂的知识迁移机制相比，普通回归出奇地有效，在非对称测试中表现最佳。有趣的是，我们的非对称度量学习方法在对称测试中表现最好，使学生甚至能超越教师。
引用
@article{arxiv.2006.16331,
title = {Asymmetric metric learning for knowledge transfer},
author = {Mateusz Budnik and Yannis Avrithis},
journal= {arXiv preprint arXiv:2006.16331},
year = {2020}
}