DeepStruct：用于结构预测的语言模型预训练
计算与语言
2023-03-07 v2 人工智能
机器学习
摘要
我们提出一种提升语言模型结构理解能力的方法。不同于以往利用任务特定增强对模型进行微调的方法，我们在与任务无关的文本语料库集合上对语言模型进行预训练，以从文本生成结构。我们的结构预训练实现了模型所学结构任务知识零样本迁移。我们在28个数据集上研究了该方法性能，涵盖10项结构预测任务，包括开放信息抽取、联合实体与关系抽取、命名实体识别、关系分类、语义角色标注、事件抽取、共指消解、事实探测、意图检测和对话状态追踪。我们进一步利用任务特定训练集增强预训练。我们展示了一个100亿参数的语言模型可非平凡地迁移至大多数任务，并在我们所评估的28个数据集中的21个上取得最先进（SOTA）性能。
引用
@article{arxiv.2205.10475,
title = {DeepStruct: Pretraining of Language Models for Structure Prediction},
author = {Chenguang Wang and Xiao Liu and Zui Chen and Haoyun Hong and Jie Tang and Dawn Song},
journal= {arXiv preprint arXiv:2205.10475},
year = {2023}
}
备注
ACL 2022