IBERT：基于注意力的成语完形填空式阅读理解
计算与语言
2021-12-07 v1 人工智能
摘要
成语是通常源自故事的特定固定短语，常用于日常对话和文学创作中，其含义通常高度非组合性。成语完形填空任务是自然语言处理（NLP）研究中的一个挑战性问题。此前该任务的方法建立在序列到序列（Seq2Seq）模型之上，并在现有数据集上取得了相当好的性能。然而，它们不足以理解习语表达的高度非组合性含义，也未能同时考虑局部与全局上下文。本文提出一种基于 BERT 的嵌入 Seq2Seq 模型，该模型对习语表达进行编码，并在全局与局部上下文中加以考虑。我们的模型使用 XLNET 作为编码器，并使用 RoBERTa 为给定上下文选择最可能的成语。在 EPIE Static Corpus 数据集上的实验表明，我们的模型性能优于现有的最优方法。
引用
@article{arxiv.2112.02994,
title = {IBERT: Idiom Cloze-style reading comprehension with Attention},
author = {Ruiyang Qin and Haozheng Luo and Zheheng Fan and Ziang Ren},
journal= {arXiv preprint arXiv:2112.02994},
year = {2021}
}