RepCali：基于潜在空间表示校准的高效微调方法
计算与语言
2025-05-30 v2 人工智能
摘要
微调预训练语言模型（PLMs）已成为将其应用于下游任务的主流范式。然而，由于微调有限，PLMs 在表示从编码器获得的输出与解码器最优输入之间仍存在差距。本文通过学习在潜在空间中校准 PLMs 的表示来解决这一挑战。在提出的表示校准方法（RepCali）中，我们将特定的校准模块集成到编码器之后的潜在空间中，并将校准后的输出用作解码器的输入。本文的贡献包括：对所有采用编码器-解码器结构的 PLMs 通用性、即插即用特性以及易于实现。对 25 个 PLM 基模型在 8 个任务（包括英文和中文数据集）上的大量实验表明，所提出的 RepCali 为 PLMs（包括大型语言模型）提供了令人满意的性能提升，显著改进了下游任务的表现。对 4 个基准任务的比较实验表明，RepCali 在代表性微调基线方法上具有优势。
引用
@article{arxiv.2505.08463,
title = {RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models},
author = {Fujun Zhang and Xiaoying Fan and XiangDong Su and Guanglai Gao},
journal= {arXiv preprint arXiv:2505.08463},
year = {2025}
}
备注
13 pages, 4 figures