为PEFT提供度量化任务错位：域泛化与CLIP中的灾难性遗忘探索
计算机视觉与模式识别
2024-02-16 v1
摘要
基础模型被描绘为能够在众多任务上取得好成绩的泛型模型。对这些模型进行精细调优，即使只用有限数据，也能在特定任务上获得额外的性能提升，但往往以牺牲更广泛的泛化能力为代价，称为灾难性遗忘。在本文中，我们分析了任务难度与几种简单参数高效调优方法在域泛化和灾难性遗忘方面的关系。我们提供证据表明，零样本图像和文本嵌入的轮廓得分是衡量任务难度的更好指标，而不仅仅是正确图像/标签嵌入平均余弦相似度。我们也讨论了任务难度、调优方法、域泛化和灾难性遗忘之间的可观察关系。此外，跨任务和性能指标的平均结果表明，一种简化方法——仅训练注意力权重的子集，称为A-CLIP——在域泛化和灾难性遗忘之间取得了平衡。
引用
@article{arxiv.2402.09613,
title = {Quantified Task Misalignment to Inform PEFT: An Exploration of Domain Generalization and Catastrophic Forgetting in CLIP},
author = {Laura Niss and Kevin Vogt-Lowell and Theodoros Tsiligkaridis},
journal= {arXiv preprint arXiv:2402.09613},
year = {2024}
}