正交注意力：一种用于否定辖域解析的完形填空式方法
计算与语言
2021-03-09 v1 机器学习
摘要
否定辖域解析是一个被广泛研究的问题，用于定位句子中受否定线索影响的词语。近期工作表明，仅对基于 transformer 的架构进行微调即可在该任务上取得最先进的结果。在本工作中，我们将否定辖域解析视为一种完形填空式任务，以句子作为上下文、以线索词作为查询。我们还引入了一种受自注意力启发的新型完形填空式注意力机制，称为正交注意力（Orthogonal Attention）。首先，我们提出了一个开发正交注意力变体的框架，随后提出了 4 种正交注意力变体：OA-C、OA-CA、OA-EM 和 OA-EMB。将这些正交注意力层置于 XLNet 骨干网络之上，我们在否定辖域解析上超越了微调的 XLNet 最先进结果，在我们实验所用的全部 4 个数据集上取得了迄今最佳结果：BioScope Abstracts、BioScope Full Papers、SFU Review Corpus 和 *sem 2012 数据集（Sherlock）。
引用
@article{arxiv.2103.04294,
title = {Orthogonal Attention: A Cloze-Style Approach to Negation Scope Resolution},
author = {Aditya Khandelwal and Vahida Attar},
journal= {arXiv preprint arXiv:2103.04294},
year = {2021}
}