描述子蒸馏：一种用于学习局部描述子的师生正则化框架
计算机视觉与模式识别
2024-03-11 v2
摘要
学习快速且具有判别力的块描述子是计算机视觉中一个具有挑战性的课题。近来，许多现有工作专注于通过最小化三元组损失（或其变体）来训练各种描述子学习网络，期望缩小每个正样本对之间的距离并增大每个负样本对之间的距离。然而，由于网络优化器对非完美收敛到局部解的局限，这种期望不得不降低。针对该问题以及开放的计算速度问题，我们提出了一种用于局部描述子学习的描述子蒸馏框架，称为 DesDis，其中学生模型从预训练的教师模型获取知识，并通过设计的师生正则化器进一步增强。该师生正则化器用于约束教师模型与学生模型在正（以及负）样本对相似性上的差异，并且我们从理论上证明，通过最小化三元组损失与该正则化器的加权组合，可比仅以三元组损失训练的教师模型训练出更有效的学生模型。在提出的 DesDis 下，许多现有描述子网络可作为教师模型嵌入，并相应导出等权重和轻量级学生模型，它们在精度或速度上均优于其教师模型。在 3 个公开数据集上的实验结果表明，利用三种典型描述子学习网络作为教师模型、由所提 DesDis 框架导出的等权重学生模型，比其教师及若干其他对比方法取得显著更优的性能。此外，导出的轻量级模型在相似的块验证性能下可达到对比方法 8 倍甚至更快的速度。
引用
@article{arxiv.2209.11795,
title = {Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors},
author = {Yuzhen Liu and Qiulei Dong},
journal= {arXiv preprint arXiv:2209.11795},
year = {2024}
}