COOL：一种上下文展望器及其在问答与其他自然语言处理任务中的应用
计算与语言
2023-05-16 v2 人工智能
摘要
视觉展望器（vision outlooker）通过添加一种局部注意形式——展望注意力（outlook attention）来实现自注意力机制，从而提升了视觉 transformer 的性能。在自然语言处理领域，与计算机视觉及其他领域的情况类似，基于 transformer 的模型在大多数处理任务中构成了最先进（state-of-the-art）方法。在该领域中，许多作者同样论证并展示了局部上下文的重要性。我们提出了一种用于自然语言处理的展望注意力机制 COOL。COOL 添加在基于 transformer 模型的自我注意力层之上，编码局部句法上下文，考虑了词邻近性以及比现有方法所使用的动态卷积更多的成对约束。对 COOL 的一种实现与不同基于 transformer 的模型进行的比较性实证性能评估，证实了在包括问答在内的多种自然语言处理任务中，相较于仅使用原始模型的基线存在改进空间。所提出的方法在某些任务上取得了与现有最先进方法具有竞争力的性能。
引用
@article{arxiv.2204.09593,
title = {COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks},
author = {Fangyi Zhu and See-Kiong Ng and Stéphane Bressan},
journal= {arXiv preprint arXiv:2204.09593},
year = {2023}
}