利用基于Transformer语言模型的拓扑特征检测分布外文本

Andres Pollano; Anupam Chaudhuri; Anj Simmons

利用基于Transformer语言模型的拓扑特征检测分布外文本

计算与语言 2024-07-19 v2 机器学习代数拓扑

作者: Andres Pollano , Anupam Chaudhuri , Anj Simmons

摘要

为保障处理文本数据的机器学习系统免受可能导致不可预测行为的分布外(OOD)输入影响，我们探索利用基于Transformer语言模型的自注意力图的拓扑特征来检测输入文本是否分布外。自注意力构成基于Transformer语言模型的核心，根据上下文动态地为词分配向量，因此理论上我们的方法适用于任何具有多头自注意力的基于Transformer的语言模型。我们在BERT上评估了该方法，并与使用CLS嵌入的传统OOD方法进行比较。结果表明，在区分分布内样本与远分布外域样本时，我们的方法优于CLS嵌入，但在处理近域或同域数据集时表现不佳。

关键词

分布外检测 Transformer 自注意力拓扑特征 BERT 文本分类

引用

@article{arxiv.2311.13102,
  title  = {Detecting out-of-distribution text using topological features of transformer-based language models},
  author = {Andres Pollano and Anupam Chaudhuri and Anj Simmons},
  journal= {arXiv preprint arXiv:2311.13102},
  year   = {2024}
}

备注

8 pages, 6 figures, 3 tables, to be published in proceedings of the IJCAI-2024 AISafety Workshop

利用基于Transformer语言模型的拓扑特征检测分布外文本

摘要

关键词

引用

备注

相关论文