Attention Visualizer 工具包：揭示仅编码器 Transformer 模型中词的重要性
计算与语言
2023-08-30 v1 人工智能
摘要
本报告介绍了 Attention Visualizer 工具包，其旨在直观展示仅编码器（encoder-only）基于 transformer 的模型中各个词的重要性。与其他聚焦于 token 与自注意力分数的方法不同，我们的方法将考察词及其对最终嵌入表示的影响。此类库在增强神经网络的可解释性与可说明性方面发挥着关键作用。它们提供了阐明内部机制的机会，从而更好地理解其运作方式以及如何改进。您可在以下 GitHub 仓库访问代码并查看示例：https://github.com/AlaFalaki/AttentionVisualizer。
引用
@article{arxiv.2308.14850,
title = {Attention Visualizer Package: Revealing Word Importance for Deeper Insight into Encoder-Only Transformer Models},
author = {Ala Alam Falaki and Robin Gras},
journal= {arXiv preprint arXiv:2308.14850},
year = {2023}
}
备注
12 pages, 15 figures