大语言模型学到了哪些脚本知识？
计算与语言
2022-06-29 v2
摘要
脚本知识（Schank 和 Abelson，1975）长期以来被公认为对语言理解至关重要，因为它有助于填补叙事中未陈述的信息。然而，此类知识人工构建代价高昂，且由于报告偏差（Gordon 和 Van Durme，2013）难以从文本中归纳。在本工作中，我们关注一个科学问题：显式脚本知识是否存在于预训练生成式语言模型（LMs）中并可通过其获取。为此，我们引入了给定自然语言提示形式场景生成完整事件序列描述（ESDs）的任务。在零样本探测实验中，我们发现生成式 LMs 产生的 ESDs 质量较差，大多存在事件遗漏、无关、重复或顺序错乱。为此，我们提出一种基于流水线的脚本归纳框架（SIF），能为未见过的场景（例如烤蛋糕）生成良好质量的 ESDs。SIF 是一个两阶段框架，第一阶段在少量 ESD 示例上微调 LM；第二阶段使用基于 RoBERTa 的模型对未见场景生成的 ESD 进行后处理，以过滤无关事件、去除重复并重新排序时间错乱的事件。通过自动和人工评估，我们证明 SIF 相比微调 LM 取得了显著改进（- 个 BLEU 点）。但人工分析显示仍有很大改进空间，为脚本知识归纳提供了新研究方向。
引用
@article{arxiv.2112.13834,
title = {What do Large Language Models Learn about Scripts?},
author = {Abhilasha Sancheti and Rachel Rudinger},
journal= {arXiv preprint arXiv:2112.13834},
year = {2022}
}
备注
12 pages, 3 figures, 10 tables (including appendix), preprint