将去噪自编码器与对比学习相结合来微调 Transformer 模型
计算与语言
2024-05-24 v1
摘要
最近，利用大型预训练 Transformer 模型进行迁移学习任务已发展至一个里程碑，成为自然语言处理(NLP)社区的标志性趋势，催生了各种新思路，如基于提示的、适配器或与无监督方法的结合等。本工作提出一种 3 阶段技术，用于调整基本模型以完成分类任务。第一阶段，我们通过进行进一步训练来适应模型信号与数据分布的匹配，使用去噪自编码器(DAE)。第二阶段，我们通过对比学习(CL)方法调整输出表示空间以匹配对应类别。此外，我们引入一种新的数据增强方法，用于纠正受监督对比学习中的不平衡数据集。第三阶段，我们应用微调以限定预定义类别。这些不同阶段为模型提供相关且互补的知识，以学习最终任务。我们提供了在多个数据集上的广泛实验结果，以证明这些主张。此外，我们包括了消融研究，并将所提方法与其他结合这些技术的方法进行比较。
关键词
引用
@article{arxiv.2405.14437,
title = {Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models},
author = {Alejo Lopez-Avila and Víctor Suárez-Paniagua},
journal= {arXiv preprint arXiv:2405.14437},
year = {2024}
}
备注
1 figure, 7 tables, 12 pages