利用文本结构知识增强预训练模型用于问题生成
计算与语言
2022-09-12 v1 人工智能
摘要
如今预训练语言模型在问题生成(QG)任务上取得巨大成功,并显著优于传统的序列到序列方法。然而,预训练模型将输入篇章视为扁平序列,因而未感知输入篇章的文本结构。针对 QG 任务,我们将文本结构建模为答案位置与句法依存,并提出答案局部性建模与句法掩码注意力以解决这些局限。具体而言,我们提出带高斯偏置的局部性建模,使模型聚焦于答案周边上下文,并提出掩码注意力机制,使输入篇章的句法结构在问题生成过程中可被获取。在 SQuAD 数据集上的实验表明,我们提出的两个模块均优于强预训练模型 ProphetNet,且二者结合取得了与最先进预训练模型极具竞争力的结果。
引用
@article{arxiv.2209.04179,
title = {Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation},
author = {Zichen Wu and Xin Jia and Fanyi Qu and Yunfang Wu},
journal= {arXiv preprint arXiv:2209.04179},
year = {2022}
}
备注
COLING 2022 Main Conference, Long Paper