AM-RADIO：聚合视觉基础模型——将所有领域归约为一个
计算机视觉与模式识别
2024-08-01 v5
摘要
近期涌现出少数几个视觉基础模型，作为众多下游任务的骨干网络。诸如 CLIP、DINOv2、SAM 等 VFM 采用不同的目标进行训练，在各类下游任务中展现出独特的特性。我们发现，尽管它们在概念上存在差异，但可以通过多教师蒸馏有效地融合为一个统一模型。我们将此方法命名为 AM-RADIO（Agglomerative Model -- Reduce All Domains Into One）。这种整合方法不仅超越了单个教师模型的性能，还融合了它们的独特功能，例如零样本视觉语言理解、详细的像素级理解以及开放词汇分割能力。为了寻求最高效硬件的骨干网络，我们在多教师蒸馏流水线中使用相同的训练方案评估了众多架构。这促成了一种新颖架构（E-RADIO）的开发，该架构超越了其前身的性能，且比教师模型快至少 7 倍。我们全面的基准测试过程涵盖的下游任务包括 ImageNet 分类、ADE20k 语义分割、COCO 目标检测以及 LLaVa-1.5 框架。代码：https://github.com/NVlabs/RADIO
引用
@article{arxiv.2312.06709,
title = {AM-RADIO: Agglomerative Vision Foundation Model -- Reduce All Domains Into One},
author = {Mike Ranzinger and Greg Heinrich and Jan Kautz and Pavlo Molchanov},
journal= {arXiv preprint arXiv:2312.06709},
year = {2024}
}
备注
CVPR 2024 Version 3: CVPR Camera Ready, reconfigured full paper, table 1 is now more comprehensive Version 2: Added more acknowledgements and updated table 7 with more recent results. Ensured that the link in the abstract to our code is working properly Version 3: Fix broken hyperlinks