通过模型标签学习实现小模型的零样本选择与复用
人工智能
2025-02-04 v2
摘要
视觉-语言模型（VLM）如 CLIP 通过对齐文本和图像在图像分类任务中展示了令人印象深刻的零样本能力，但与任务特定的专家模型相比性能较差。相反，专家模型在其专业领域表现出色，但缺乏对新任务的零样本能力。如何同时获得专家模型的高性能和零样本能力是一个重要的研究方向。在本文中，我们试图通过构建模型中心并利用模型标签将模型与其功能对齐，以零样本方式有效地选择和复用模型中心中的模型来解决新任务。我们提出了一种新的范式——模型标签学习（MLL），通过语义有向无环图（SDAG）弥合模型与其功能之间的差距，并利用分类头组合优化（CHCO）算法为新任务选择有能力模型。与基础模型范式相比，它成本更低且更具可扩展性，即零样本能力随模型中心的规模增长。在七个真实数据集上的实验验证了 MLL 的有效性和效率，证明了专家模型可以有效地复用于零样本任务。我们的代码将公开发布。
引用
@article{arxiv.2408.11449,
title = {Enabling Small Models for Zero-Shot Selection and Reuse through Model Label Learning},
author = {Jia Zhang and Zhi Zhou and Lan-Zhe Guo and Yu-Feng Li},
journal= {arXiv preprint arXiv:2408.11449},
year = {2025}
}