基于位置注意力的 BERT 框架识别：一种用于目标消歧与语义框架选择深度学习方法
计算与语言
2019-11-01 v1 机器学习
摘要
语义解析是将自然语言句子转换为谓词-论元结构形式化表示的任务。在该研究领域下，框架语义解析引起了广泛关注。该解析方法利用 FrameNet 中定义的词汇信息，将标记谓词或目标与语义框架相关联，从而基于 FrameNet 中预指定的框架元素为句子成分分配语义角色。本文提出一种称为基于位置注意力的 BERT 框架识别（PAFIBERT）的深度神经网络架构，作为框架语义解析中框架识别子任务的解决方案。尽管该子任务的重要性已确立，但先前研究尚未找到对领域内与领域外数据均令人满意的鲁棒方案。因此，本研究旨在基于自然语言处理中语言建模与迁移学习的最新进展改进框架识别。所提方法部分由 BERT 赋能，BERT 是一种擅长捕捉文本中上下文信息的预训练语言模型。通过将 BERT 的语言表示能力与基于位置的注意力机制相结合，PAFIBERT 能够关注句子中目标特定的上下文，以消歧目标并将其与最合适的语义框架关联。在各种实验设置下，PAFIBERT 以显著优势超越现有方案，在领域内与领域外基准测试集上均取得了新的 SOTA 结果。
引用
@article{arxiv.1910.14549,
title = {Positional Attention-based Frame Identification with BERT: A Deep Learning Approach to Target Disambiguation and Semantic Frame Selection},
author = {Sang-Sang Tan and Jin-Cheon Na},
journal= {arXiv preprint arXiv:1910.14549},
year = {2019}
}
备注
19 pages, 7 figures, uses basic.sty