LasUIE：用潜在自适应结构感知生成语言模型统一信息抽取
计算与语言
2023-04-14 v1
摘要
用单一生成语言模型（GLM）通用建模所有典型信息抽取任务（UIE）的最新研究已展现出巨大潜力，其中各类 IE 预测在 GLM 下被统一为线性化层次表达。句法结构信息作为一类在 IE 领域被广泛使用的有效特征，也应当有益于 UIE。在本工作中，我们提出一种新颖的结构感知 GLM，充分释放句法知识在 UIE 中的威力。我们探索了一种异构结构归纳器，通过对现有 GLM 进行后训练来无监督地归纳丰富的异构结构表示。特别地，我们设计了一种结构广播器，将各种潜在树压缩为显式的高阶森林，有助于在解码时引导更好的生成。我们最终引入了面向任务的结构微调机制，进一步调整所学结构以最大程度契合末端任务需求。在跨 7 个任务的 12 个 IE 基准上，我们的系统相较基线 UIE 系统显示出显著提升。进一步的深入分析表明，我们的 GLM 学到了丰富的任务自适应结构偏置，极大缓解了 UIE 难题，即长程依赖问题与边界识别问题。源代码开源于 https://github.com/ChocoWu/LasUIE。
引用
@article{arxiv.2304.06248,
title = {LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model},
author = {Hao Fei and Shengqiong Wu and Jingye Li and Bobo Li and Fei Li and Libo Qin and Meishan Zhang and Min Zhang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2304.06248},
year = {2023}
}
备注
NeurIPS2022 conference paper