时间标记语言模型：教语言模型理解事件流
计算与语言
2021-04-16 v1 人工智能
机器学习
摘要
由于过程中所描述世界的动态特性，在文本描述的一道工序中跟踪实体具有挑战性。首先，我们提议将该任务表述为一个问答问题。这使我们能够通过将预训练的基于 transformer 的语言模型适配到程序性文本理解，从而利用其在其他 QA 基准上的能力。其次，由于基于 transformer 的语言模型自身无法编码事件流，我们提出了一种时间标记语言模型（TSLM model），通过引入时间戳编码在 LM 架构中编码事件信息。我们的模型在 Propara 数据集上评估，相较已发布的最优结果取得了改进，F1 分数提升 。此外，我们的模型在 NPN-Cooking 数据集的位置预测任务上获得了更好的结果。该结果表明我们的方法对一般的程序性文本理解是有效的。
引用
@article{arxiv.2104.07635,
title = {Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events},
author = {Hossein Rajaby Faghihi and Parisa Kordjamshidi},
journal= {arXiv preprint arXiv:2104.07635},
year = {2021}
}
备注
Accepted at NAACL 2021