DistilVPR：面向视觉位置识别的跨模态知识蒸馏
计算机视觉与模式识别
2023-12-19 v1
摘要
在视觉位置识别（VPR）中利用多模态传感器数据已展现出优于单模态对应方法的性能。尽管如此，集成额外传感器会带来更高的成本，并且对于需要轻量化运行的系统而言可能并不可行，从而影响了 VPR 的实际部署。为了解决这个问题，我们求助于知识蒸馏，它使单模态学生模型能够从跨模态教师模型中学习，而无需在推理过程中引入额外的传感器。尽管当前的蒸馏方法取得了显著进展，但对特征关系的探索仍然是一个有待深入研究的领域。为了应对 VPR 中跨模态蒸馏的挑战，我们提出了 DistilVPR，一种用于 VPR 的新颖蒸馏流程。我们提出利用来自多个智能体的特征关系，包括教师和学生神经网络的自智能体和跨智能体特征关系。此外，我们整合了以不同空间曲率为特征的各种流形来探索特征关系。这种方法增强了特征关系的多样性，包括欧氏、球面和双曲关系模块，从而增强了整体的表示能力。实验表明，与其他蒸馏基线相比，我们提出的流程实现了 SOTA 性能。我们还进行了必要的消融研究以展示设计的有效性。代码发布于：https://github.com/sijieaaa/DistilVPR
引用
@article{arxiv.2312.10616,
title = {DistilVPR: Cross-Modal Knowledge Distillation for Visual Place Recognition},
author = {Sijie Wang and Rui She and Qiyu Kang and Xingchao Jian and Kai Zhao and Yang Song and Wee Peng Tay},
journal= {arXiv preprint arXiv:2312.10616},
year = {2023}
}
备注
Accepted by AAAI 2024