现成 Siamese Transformer 的近似归因
计算与语言
2024-02-06 v1 机器学习
摘要
Siamese 编码器（如句子 Transformer）是最不为人所知的深度模型之一。既有的归因方法无法处理此类模型，因为它们是比较两个输入而非处理单个输入。为解决这一差距，我们最近提出了一种专门针对 Siamese 编码器的归因方法（M"oller 等人，2023）。然而，该方法需要调整模型并进行微调，因此无法直接应用于现成模型。在本工作中，我们重新评估了这些限制，并提出了：(i) 一种具有精确归因能力且保留原始模型预测性能的模型；(ii) 一种计算现成模型近似归因的方法。我们广泛比较了近似归因和精确归因，并利用它们分析模型对不同语言方面的关注点。我们深入了解了 Siamese Transformer 关注哪些句法角色，证实了它们大多忽略否定，探索了它们如何判断语义相反的形容词，并发现它们表现出词汇偏差。
引用
@article{arxiv.2402.02883,
title = {Approximate Attributions for Off-the-Shelf Siamese Transformers},
author = {Lucas Möller and Dmitry Nikolaev and Sebastian Padó},
journal= {arXiv preprint arXiv:2402.02883},
year = {2024}
}
备注
Accepted for EACL 2024, St. Julian's, Malta