DarkRank：通过跨样本相似性迁移加速深度度量学习
计算机视觉与模式识别
2017-12-20 v2 机器学习
神经与进化计算
摘要
近年来，我们见证了深度神经网络架构设计的快速发展。这些最新进展极大地推动了计算机视觉和自然语言处理等多个领域的发展。然而，伴随着卓越的性能，这些最先进的模型也带来了高昂的计算成本。直接将这些模型部署到具有实时要求的应用中仍然不可行。最近，Hinton 等人表明，强大教师模型中的暗知识(dark knowledge)可以显著帮助更小更快的学生网络的训练。这些知识对提高学生模型的泛化能力极为有益。受他们工作的启发，我们引入了一种新型知识——用于模型压缩与加速的跨样本相似性(cross sample similarities)。这种知识可以自然地从深度度量学习模型中导出。为了迁移它们，我们将“学习排序(learning to rank)”技术引入深度度量学习公式。我们在包括行人重识别、图像检索和图像聚类在内的各种度量学习任务上测试了我们提出的 DarkRank 方法。结果令人鼓舞。我们的方法可以大幅度超越基线方法。此外，它与现有其他方法完全兼容。结合使用时，性能可进一步提升。
引用
@article{arxiv.1707.01220,
title = {DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer},
author = {Yuntao Chen and Naiyan Wang and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:1707.01220},
year = {2017}
}