注意力图的 Betti 数即你所真正需要的一切
计算与语言
2022-07-06 v1
摘要
我们将拓扑分析方法应用于在 BERT 模型（arXiv:1810.04805v2）注意力头上计算的注意力图。我们的研究表明，基于训练好的神经网络的基本持久拓扑特征（即 Betti 数）构建的分类器，能够取得与传统分类方法相当的的分类结果。我们在三个文本分类基准上展示了此类拓扑文本表示的相关性。据我们所知，这是首次尝试分析广泛用于自然语言处理的基于注意力的神经网络的拓扑结构。
引用
@article{arxiv.2207.01903,
title = {Betti numbers of attention graphs is all you really need},
author = {Laida Kushnareva and Dmitri Piontkovski and Irina Piontkovskaya},
journal= {arXiv preprint arXiv:2207.01903},
year = {2022}
}
备注
This short paper was submitted to "Topological Data Analysis and Beyond" Workshop at NeurIPS 2020 at July 2020, but wasn't accepted. Later the ideas from this short paper found a rich development in arXiv:2109.04825 and arXiv:2205.09630