预训练大模型微调中对抗域适应的混杂因子平衡
机器学习
2023-10-26 v1 人工智能
计算机视觉与模式识别
摘要
预训练大模型（PLMs）出色的泛化、上下文学习与涌现能力可在无直接训练数据情况下处理特定任务，使其成为对抗域适应（ADA）方法中将源域所学知识迁移至目标域的更优基础模型。然而，现有ADA方法未能恰当考虑混杂因子，而混杂因子正是源数据分布不同于目标域的根本原因。本研究提出一种用于PLMs微调的混杂因子平衡对抗域适应方法（ADA-CBF）。ADA-CBF包含作为特征提取器基础模型的PLM、域分类器与混杂因子分类器，并以对抗损失联合训练。该损失旨在通过稀释域分类器中的判别性来改进域不变表示学习。同时，对抗损失在训练中平衡源域与未观测域间的混杂因子分布。与现有ADA方法相比，ADA-CBF能正确识别域不变特征中的混杂因子，从而消除PLMs提取特征中的混杂因子偏倚。ADA-CBF中的混杂因子分类器设计为即插即用，可应用于混杂因子可测、不可测或部分可测环境。自然语言处理与计算机视觉下游任务的实证结果显示，ADA-CBF优于最新的GPT-4、LLaMA2、ViT及ADA方法。
引用
@article{arxiv.2310.16062,
title = {Confounder Balancing in Adversarial Domain Adaptation for Pre-Trained Large Models Fine-Tuning},
author = {Shuoran Jiang and Qingcai Chen and Yang Xiang and Youcheng Pan and Xiangping Wu},
journal= {arXiv preprint arXiv:2310.16062},
year = {2023}
}