将监督对比学习作为多目标优化用于大型预训练语言模型微调
计算与语言
2022-09-29 v1
摘要
近来，监督对比学习（SCL）已被证明在大多数分类任务中取得了优异性能。在 SCL 中，神经网络被训练以优化两个目标：在嵌入空间中将锚点与正样本拉近，并将锚点与负样本推远。然而，这两个不同目标可能冲突，需要在优化过程中进行权衡。在本工作中，我们将 SCL 问题表述为 RoBERTa 语言模型微调阶段的多目标优化问题。采用两种方法求解该优化问题：（i）线性标量化（LS）方法，最小化各任务损失的加权线性组合；（ii）精确帕累托最优（EPO）方法，寻找帕累托前沿与给定偏好向量的交点。我们在多个 GLUE 基准任务上评估了我们的方法，未使用数据增强、记忆库或生成对抗样本。实证结果表明，所提出的学习策略显著优于一个强竞争力的对比学习基线。
引用
@article{arxiv.2209.14161,
title = {Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models},
author = {Youness Moukafih and Mounir Ghogho and Kamel Smaili},
journal= {arXiv preprint arXiv:2209.14161},
year = {2022}
}