Gotta：基于提示填空数据增强的生成式少样本问答
计算与语言
2023-06-08 v1 人工智能
摘要
少样本问答（QA）旨在仅利用少量训练样本，从上下文段落中精确找出一组问题的答案。尽管现有研究已取得一定进展并通常能获得尚可的结果，但它们在理解深层语义以推理出问题方面存在困难。本文提出 Gotta，一种基于生成式提示（prompt）的数据增强框架，以缓解上述挑战。受人类推理过程启发，我们提出引入填空任务来增强少样本 QA 学习。借鉴近期 prompt-tuning 的成功经验，我们将填空任务以与主 QA 任务相同的格式呈现，使模型能够无缝地同时学习两个任务，从而充分利用 prompt-tuning 的能力。在广泛使用的基础基准上的大量实验表明，Gotta 持续优于具有竞争力的基线，验证了我们提出的基于 prompt-tuning 的填空任务的有效性，该任务不仅微调语言模型，还学习引导 QA 任务中的推理。进一步分析表明，基于提示的损失比多任务损失能更好地整合辅助任务，凸显了 prompt-tuning 在少样本 QA 任务上的优势。
引用
@article{arxiv.2306.04101,
title = {Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation},
author = {Xiusi Chen and Yu Zhang and Jinliang Deng and Jyun-Yu Jiang and Wei Wang},
journal= {arXiv preprint arXiv:2306.04101},
year = {2023}
}