基于度量的上下文学习：以文本简化为例的研究
计算与语言
2023-07-28 v1 人工智能
摘要
大语言模型的上下文学习（ICL）已被证明是许多自然语言处理任务的一种强大方法。然而，确定用于 ICL 的最佳示例选取方法并非易事，因为结果会因所用示例的质量、数量和顺序而有很大差异。在本文中，我们以文本简化（TS）为例进行研究，探讨如何为 ICL 选取最佳且最鲁棒的示例。我们提出基于度量的上下文学习（MBL）方法，该方法利用 SARI、压缩率和 BERT-Precision 等常用 TS 度量进行选取。通过在 TurkCorpus 和 ASSET 等标准 TS 基准上使用不同规模的 GPT 模型进行大量实验，我们表明，由最高 SARI 分数选出的示例在 GPT-175B 等较大模型上表现最佳，而压缩率通常在 GPT-13B 和 GPT-6.7B 等较小模型上表现更好。此外，我们证明 MBL 通常对示例顺序和域外测试集具有鲁棒性，并且优于强基线以及最先进的微调语言模型。最后，我们表明大型 GPT 模型的行为可通过所选度量被隐式控制。我们的研究为 ICL 中的示例选取提供了一个新框架，并证明了其在文本简化任务中的有效性，为更精确高效的 NLG 系统开辟了新天地。
引用
@article{arxiv.2307.14632,
title = {Metric-Based In-context Learning: A Case Study in Text Simplification},
author = {Subha Vadlamannati and Gözde Gül Şahin},
journal= {arXiv preprint arXiv:2307.14632},
year = {2023}
}
备注
Accepted to INLG