基于自然语言提示的少样本自合理化
计算与语言
2022-04-27 v2
摘要
自合理化模型在预测任务标签并生成对其预测的免费文本说明方面，可实现与 NLP 系统更直观的交互。然而，这些模型目前针对每个任务使用大量人工撰写的免费文本解释进行训练，这阻碍了它们的更广泛应用。我们提议研究一种更现实的少训练样本自合理化设定。我们提出 FEB——一个由四个现有英文数据集及其关联指标组成的标准化集合。我们通过在 FEB 上广泛探索自然语言提示，确定了合适的提示方法。随后，利用该提示并扩展模型规模，我们证明了在少样本自合理化上取得进展是可能的。我们表明该任务仍有充足改进空间：由人类标注者评估的生成解释平均可信度至多 51%（使用 GPT-3），而人类解释的可信度为 76%。我们希望 FEB 与我们所提方法能激励社区迎接少样本自合理化挑战。
引用
@article{arxiv.2111.08284,
title = {Few-Shot Self-Rationalization with Natural Language Prompts},
author = {Ana Marasović and Iz Beltagy and Doug Downey and Matthew E. Peters},
journal= {arXiv preprint arXiv:2111.08284},
year = {2022}
}
备注
v2: NAACL Findings 2022 accepted paper camera-ready version. First two authors contributed equally. 9 pages main, 3 pages appendix