当适应失败时：基于梯度的视觉语言提示学习中坍塌门控诊断
机器学习
2026-05-12 v1
摘要
自适应提示机制已被提出用于通过动态调整提示以适应输入来增强视觉语言模型。然而，在冻结的少样本提示学习中使用 CLIP 架构时，我们系统观察到自适应门控和提示选择模块常常会坍塌：它们产生接近恒定的输出，贡献可忽略的梯度信号，并且经常未能超过固定提示。为进一步探讨此问题，我们提出了一项系统性诊断研究，以揭示其背后原因和条件。通过跨数据集和多种提示学习架构的受控实验，我们识别出两种反复出现的失败模式：梯度大小不平衡和门控退化。我们的发现促使我们重新审视在参数高效学习中不加注释地增加架构复杂度，并阐明在该情境下，提示级别的自适应门控是以及如何有效。
引用
@article{arxiv.2605.09549,
title = {When Adaptation Fails: A Gradient-Based Diagnosis of Collapsed Gating in Vision-Language Prompt Learning},
author = {Yunxuan Fang and Ziwei Zhang and Xinhe Wang},
journal= {arXiv preprint arXiv:2605.09549},
year = {2026}
}