通过新颖数据增强与课程学习实现高效对比学习
计算与语言
2021-10-19 v2 机器学习
摘要
我们提出了 EfficientCL，一种内存高效的持续预训练方法，该方法将对比学习与新颖的数据增强和课程学习相结合。对于数据增强，我们顺序堆叠两类操作：cutoff 与 PCA 抖动。在预训练步骤推进的过程中，我们通过为每个难度阶段递增增强程度来应用课程学习。数据增强完成后，对原始样本与增强样本的投影嵌入施加对比学习。在 GLUE 基准上微调时，我们的模型优于基线模型，尤其在句子级任务上。此外，与基线模型相比，仅使用 70% 的计算内存即可实现这一提升。
引用
@article{arxiv.2109.05941,
title = {Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning},
author = {Seonghyeon Ye and Jiseon Kim and Alice Oh},
journal= {arXiv preprint arXiv:2109.05941},
year = {2021}
}
备注
EMNLP 2021