概念级微调对防止负迁移的关键作用
计算机视觉与模式识别
2023-11-14 v1
摘要
大量主流预训练模型标志着人工智能发展的重大里程碑，而微调已成为使预训练模型在广泛目标数据集中表现突出的常见做法。我们的实证结果表明，现成微调技术远不足以缓解预训练模型中两类表现不佳特征（包括稀有特征与伪相关特征）所引起的负迁移。基于微调后预测的结构因果模型，我们提出概念级微调（Concept-Tuning）方法，在补丁（每个补丁编码一个概念）层面精炼特征表示。Concept-Tuning 通过（1）在同一类别样本间针对稀有特征切片（一个补丁）最大化互信息，以及（2）通过通道与特征切片（补丁）上的注意力神经网络施加前门调整，将稀有特征与伪相关特征的负面影响降至最低。所提 Concept-Tuning 在十一个数据集、多种预训练策略（监督与自监督）、各类网络架构及目标数据集样本量上，持续且显著（最高达 4.76%）优于先前最优微调方法。
引用
@article{arxiv.2311.06868,
title = {Concept-wise Fine-tuning Matters in Preventing Negative Transfer},
author = {Yunqiao Yang and Long-Kai Huang and Ying Wei},
journal= {arXiv preprint arXiv:2311.06868},
year = {2023}
}