用于少样本语言微调的嵌入幻觉方法
计算与语言
2022-05-04 v1 人工智能
摘要
少样本语言学习器从预训练模型中适配知识，以从少量标注句子中识别新类别。在此类设置中，微调预训练语言模型会导致严重的过拟合。本文中，我们提出一种嵌入幻觉（EmbedHalluc）方法，其生成辅助的嵌入-标签对以扩展微调数据集。幻觉器通过与判别器进行对抗博弈来训练，使得幻觉出的嵌入在微调数据集中与真实嵌入不可区分。通过使用扩展数据集训练，语言学习器有效地从多样化的幻觉嵌入中学习以克服过拟合问题。实验表明，所提方法在广泛的语言任务中有效，优于当前的微调方法。此外，我们展示EmbedHalluc优于其他解决此过拟合问题的方法，如常见数据增强、半监督伪标注和正则化。代码将发布于：https://github.com/yiren-jian/EmbedHalluc。
引用
@article{arxiv.2205.01307,
title = {Embedding Hallucination for Few-Shot Language Fine-tuning},
author = {Yiren Jian and Chongyang Gao and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2205.01307},
year = {2022}
}
备注
accepted to NAACL 2022