AWT：通过增强、加权与运输转移视觉语言模型
摘要
预训练的视觉语言模型（VLM）在 various visual classification tasks 上显示出惊人的性能。然而，我们往往无法充分发挥其潜力 when adapting them for new concept understanding due to limited information on new classes. 为了解决这一局限性，我们引入了一种新颖的适应框架AWT（Augment, Weight, then Transport）。AWT 包括三个关键组件：通过图像转换和语言模型对输入进行增强，以获得多样化的视觉视角和丰富的类描述；动态地根据预测熵对输入进行加权；以及采用最优运输来挖掘视觉语言空间中的语义关联。AWT 可以无缝集成到 various VLMs 中，通过无需额外训练来增强其零样例能力，并通过集成的多模态适配器模块实现 few-shot learning。我们在 multiple challenging scenarios 中验证了 AWT，包括 zero-shot 和 few-shot 图像分类、zero-shot 视频动作识别以及 out-of-distribution generalization。AWT 在每个 setting 中都 consistently outperforms state-of-the-art methods。此外，我们的 extensive studies 进一步 demonstrate AWT 的 effectiveness and adaptability across different VLMs, architectures, and scales。
关键词
引用
@article{arxiv.2407.04603,
title = {AWT: Transferring Vision-Language Models via Augmentation, Weighting, and Transportation},
author = {Yuhan Zhu and Yuyang Ji and Zhiyu Zhao and Gangshan Wu and Limin Wang},
journal= {arXiv preprint arXiv:2407.04603},
year = {2024}
}
备注
Accepted by NeurIPS 2024