基于多阶段训练的知识感知程序性文本理解
计算与语言
2021-02-16 v2 人工智能
摘要
程序性文本描述逐步自然过程（如光合作用）中的动态状态变化。本工作中，我们关注程序性文本理解任务，旨在理解此类文档并追踪过程中实体的状态与位置。尽管近期方法已取得显著进展，其结果仍远落后于人类表现。常识推理的困难与数据不足这两大挑战尚未解决，需要将外部知识库引入。以往外部知识注入工作通常依赖噪声网络挖掘工具和适用场景有限的启发式规则。本文提出一种新颖的知識感知程序性文本理解（KnOwledge-Aware proceduraL text understAnding, KOALA）模型，有效利用该任务中多种形式的外部知识。具体而言，我们从 ConceptNet 检索信息丰富的知识三元组，并在追踪实体时进行知识感知推理。此外，我们采用多阶段训练框架，先在从 Wikipedia 收集的无标签数据上微调 BERT 模型，再在最终模型上进一步微调。在 ProPara 与 Recipes 两个程序性文本数据集上的实验结果验证了所提方法的有效性，我们的模型相较多种基线取得了最先进（SOTA）性能。
引用
@article{arxiv.2009.13199,
title = {Knowledge-Aware Procedural Text Understanding with Multi-Stage Training},
author = {Zhihan Zhang and Xiubo Geng and Tao Qin and Yunfang Wu and Daxin Jiang},
journal= {arXiv preprint arXiv:2009.13199},
year = {2021}
}
备注
Published as full paper in Proceedings of the Web Conference 2021 (WWW'21)