从预训练模型中探测脚本知识
计算与语言
2022-04-22 v1 人工智能
摘要
脚本知识对于人类理解世界上广泛的日常任务和常规活动至关重要。近年来，研究者已探索利用大规模预训练语言模型（PLMs）来执行各类脚本相关任务，如故事生成、事件时间排序、未来事件预测等。然而，关于PLMs对脚本知识的捕获程度仍缺乏充分研究。为回答该问题，我们设计了三种探测任务：包含性子事件选择、起始子事件选择和时间排序，以考察有无微调情况下PLMs的能力。这三种探测任务可进一步用于在给定所有可能子事件时，为每个主事件自动归纳出脚本。以BERT为例，通过分析其在脚本归纳及各独立探测任务上的表现，我们得出结论：子事件间刻板的时间知识在BERT中已被良好捕获，但包含性或起始子事件知识几乎未被编码。
引用
@article{arxiv.2204.10176,
title = {Probing Script Knowledge from Pre-Trained Models},
author = {Zijian Jin and Xingyu Zhang and Mo Yu and Lifu Huang},
journal= {arXiv preprint arXiv:2204.10176},
year = {2022}
}