MixPro：用于基于提示学习的简单而有效的数据增强方法
计算与语言
2023-11-14 v2 机器学习
摘要
基于提示的学习通过将原始输入与预定模板结合，将各类下游任务重构为完形填空问题，已展现出可观前景。该方法在少样本学习场景（模型仅以少量数据训练）中尤为有效。尽管取得成功，少样本基于提示的学习中有限的模板与文本仍留有显著的性能提升空间。此外，现有方法有时采用模型集成，虽有效却因计算需求增加可能损害模型效率。为解决这些问题，我们提出MixPro，一种旨在同时增强原始输入文本与模板的增强方法。我们通过词级、句级与模板级Mixup策略实现该目标。在五个少样本数据集上的实验结果表明，MixPro优于其他增强基线，相比增强前平均提升模型性能5.08%。
引用
@article{arxiv.2304.09402,
title = {MixPro: Simple yet Effective Data Augmentation for Prompt-based Learning},
author = {Bohan Li and Longxu Dou and Yutai Hou and Yunlong Feng and Honglin Mu and Qingfu Zhu and Qinghua Sun and Wanxiang Che},
journal= {arXiv preprint arXiv:2304.09402},
year = {2023}
}
备注
19 pages, 5 figures, 6 tables