通过考察注意力图的拓扑进行可接受性判断
计算与语言
2023-08-15 v2 人工智能
机器学习
代数拓扑
摘要
注意力机制在编码语言知识中的作用在自然语言处理（NLP）中受到了特别关注。然而，注意力头判断句子语法可接受性的能力尚未得到充分探索。本文以拓扑数据分析（TDA）处理可接受性判断范式，表明注意力图的几何性质可被高效用于语言学中的两种标准实践：二元判断与语言最小对。拓扑特征在CoLA上以三种语言（英语、意大利语和瑞典语）将基于BERT的可接受性分类器分数提升了8%–24%。通过揭示最小对注意力图之间的拓扑差异，我们在BLiMP基准上达到了人类水平表现，优于九个统计与Transformer语言模型基线。同时，TDA为分析注意力头的语言功能以及解释图特征与语法现象之间的对应关系提供了基础。
引用
@article{arxiv.2205.09630,
title = {Acceptability Judgements via Examining the Topology of Attention Maps},
author = {Daniil Cherniavskii and Eduard Tulchinskii and Vladislav Mikhailov and Irina Proskurina and Laida Kushnareva and Ekaterina Artemova and Serguei Barannikov and Irina Piontkovskaya and Dmitri Piontkovski and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2205.09630},
year = {2023}
}
备注
Accepted to EMNLP 2022 Findings