用 BERT 分类科学出版物——自注意力是一种特征选择方法吗？
计算与语言
2021-01-21 v1 人工智能
数字图书馆
摘要
我们在一个针对研究学科分类体系对科学文章进行分类的微调场景中，研究 BERT 的自注意力机制。我们观察到自注意力如何聚焦于与文章领域高度相关的词。特别地，一小部分词汇词往往获得大部分注意力。我们将最受关注词的子集与通常用于文本分类的特征选择方法进行比较和评估，以将自注意力刻画为一种可能的特征选择途径。使用 ConceptNet 作为 ground truth，我们还发现受关注词与文章的研究领域更相关。然而，常规特征选择方法仍是从头学习分类器的更好选择。这一结果表明，虽然自注意力识别领域相关术语，BERT 中的判别信息编码于上下文输出与分类层中。它也提出一个问题：在自注意力机制中注入特征选择方法是否能进一步优化使用 transformer 的单序列分类。
引用
@article{arxiv.2101.08114,
title = {Classifying Scientific Publications with BERT -- Is Self-Attention a Feature Selection Method?},
author = {Andres Garcia-Silva and Jose Manuel Gomez-Perez},
journal= {arXiv preprint arXiv:2101.08114},
year = {2021}
}
备注
Paper accepted for publication at ECIR2021