BERTops：从拓扑视角研究 BERT 表示
机器学习
2022-11-01 v2
摘要
提出评分函数以有效理解、分析和学习像 BERT 这样的大规模 transformer 模型高维隐藏表示的各种性质是一项具有挑战性的任务。在这项工作中，我们通过使用持续同调（PH）研究 BERT 隐藏表示的拓扑特征，探索了一个新方向。我们提出了一种名为“持续评分函数（PSF）”的新颖评分函数，其：(i) 准确捕获高维隐藏表示的同调，并与广泛数据集的测试集准确率良好相关，且优于现有评分指标；(ii) 从定性与定量视角捕获有趣的微调后“逐类”级别性质；(iii) 与基线函数相比对扰动更稳定，这使其成为非常鲁棒的代理；(iv) 最后，还可作为广泛类别黑盒与白盒对抗攻击方法攻击成功率的预测器。我们广泛的相关性实验展示了 PSF 在与 BERT 相关的各种 NLP 任务上的实用价值。
引用
@article{arxiv.2205.00953,
title = {BERTops: Studying BERT Representations under a Topological Lens},
author = {Jatin Chauhan and Manohar Kaul},
journal= {arXiv preprint arXiv:2205.00953},
year = {2022}
}