拓扑BERT：将注意力转化为拓扑用于自然语言处理
计算与语言
2022-07-01 v1 机器学习
代数拓扑
摘要
近年来，Transformer模型的引入引发了自然语言处理（NLP）领域的革命。BERT是最早仅使用注意力机制而不含任何循环部分、从而在众多NLP任务上取得最先进结果的文本编码器之一。本文介绍一种使用拓扑数据分析的文本分类器。我们将BERT的注意力图转化为注意力图（attention graphs）作为该分类器的唯一输入。该模型可解决诸如区分垃圾与正常邮件、判断句子语法是否正确、或评价电影评论为负向或正向等任务。其性能与BERT基线相当，并在部分任务上优于基线。此外，我们提出一种新方法以减少拓扑分类器所考虑的BERT注意力头数量，使注意力头从144个剪枝至少至10个而性能不降。我们的工作还表明，拓扑模型比原始BERT模型对对抗攻击表现出更高鲁棒性，且该性质在剪枝过程中得以保持。据我们所知，这是首项在NLP背景下将基于拓扑的模型与对抗攻击相比较的工作。
引用
@article{arxiv.2206.15195,
title = {The Topological BERT: Transforming Attention into Topology for Natural Language Processing},
author = {Ilan Perez and Raphael Reinauer},
journal= {arXiv preprint arXiv:2206.15195},
year = {2022}
}