UDON：用于通用图像表示的通用动态在线蒸馏
计算机视觉与模式识别
2024-12-11 v2
摘要
通用图像表示对于实现实用细粒度和实例级识别应用至关重要，其中必须在大规模环境中识别来自任何领域的对象和实体。尽管近期进展取得了显著成果，现有方法仍未捕捉到重要的领域特定知识，同时也忽略了不同领域之间数据分布差异的存在。这导致了高效通用解决方案与使用针对每个领域的一个专家模型的高成本方法之间的显著性能差距。本文通过引入一种新的学习技术（UDON，即 Universal Dynamic Online DistillatioN），显著缩小了这一差距。UDON 采用多教师蒸馏，其中每个教师在一个领域中进行专业化，以将详细的领域特定知识传递到学生通用嵌入中。UDON 的蒸馏方法不仅有效，而且非常高效，通过在学生和所有教师之间共享大部分模型参数来实现，其中所有模型都以在线方式联合训练。UDON 还包括一种采样技术，可适应训练过程，动态分配批次以分配给学习较慢且需要更频繁处理的领域。这显著提升了复杂领域（以大量类别和长尾分布为特征）的学习。通过全面的实验，我们验证了 UDON 的每个组件，并在最近的 UnED 基准测试中展示了显著的性能提升。代码：https://github.com/nikosips/UDON
引用
@article{arxiv.2406.08332,
title = {UDON: Universal Dynamic Online distillatioN for generic image representations},
author = {Nikolaos-Antonios Ypsilantis and Kaifeng Chen and André Araujo and Ondřej Chum},
journal= {arXiv preprint arXiv:2406.08332},
year = {2024}
}
备注
NeurIPS 2024 accepted