DUNE：从异构 2D 和 3D 教师蒸馏中提炼通用编码器
计算机视觉与模式识别
2025-03-25 v2 机器学习
摘要
最近的多教师蒸馏方法已将多个基础模型的编码器统一为单个编码器，在分类、分割和深度估计等核心视觉任务上取得竞争性性能。这促使我们思考：是否可以在教师模型集合 также包括在 2D 和 3D perception 中具有不同任务专长的视觉模型时，仍能取得类似成功？本文定义并研究了异构教师蒸馏问题，即一种具有挑战性的多教师蒸馏场景，其中教师模型在 (a) 设计目标和 (b) 训练数据方面差异显著。我们探索了数据共享策略和教师特定编码方法，提出 DUNE，一个在 2D 视觉、3D 理解和 3D 人体感知方面均表现出色的单一编码器。在各自任务上，DUNE 的性能可与其更大教师相当，有时甚至超越它们。值得注意的是，DUNE 在 Map-free Visual Relocalization 中以更小的编码器超越了 MASt3R。
关键词
引用
@article{arxiv.2503.14405,
title = {DUNE: Distilling a Universal Encoder from Heterogeneous 2D and 3D Teachers},
author = {Mert Bulent Sariyildiz and Philippe Weinzaepfel and Thomas Lucas and Pau de Jorge and Diane Larlus and Yannis Kalantidis},
journal= {arXiv preprint arXiv:2503.14405},
year = {2025}
}
备注
Accepted to CVPR-2025. Project page: https://europe.naverlabs.com/dune