面向深度度量学习的多样化互学习
计算机视觉与模式识别
2020-09-10 v1
摘要
互学习是一种集成训练策略，通过在同时训练多个模型时相互迁移各自的知识来提升泛化能力。本文中，我们提出一种用于深度度量学习的有效互学习方法，称为多样化互度量学习（Diversified Mutual Metric Learning），其通过多样化互学习增强嵌入模型。我们通过利用互学习中的三种多样性来迁移深度度量学习的关系知识：(1) 来自模型不同初始化的模型多样性，(2) 来自参数更新不同频率的时间多样性，以及 (3) 来自输入不同增广的视图多样性。我们的方法特别适用于缺乏大规模数据时的归纳迁移学习，其中嵌入模型由预训练模型初始化，然后在目标数据集上微调。大量实验表明，我们的方法显著改进了单个模型及其集成。最后，所提方法结合常规三元组损失在标准化数据集上取得了 SOTA 的 Recall@1 性能：CUB-200-2011 上为 69.9，CARS-196 上为 89.1。
引用
@article{arxiv.2009.04170,
title = {Diversified Mutual Learning for Deep Metric Learning},
author = {Wonpyo Park and Wonjae Kim and Kihyun You and Minsu Cho},
journal= {arXiv preprint arXiv:2009.04170},
year = {2020}
}
备注
Accepted to ECCV Workshop 2020