AttViz：面向透明神经语言建模的自注意力在线探索
机器学习
2020-05-13 v1 机器学习
摘要
神经语言模型正成为问答、文本分类、消歧、补全和翻译等任务的主流方法。这些神经网络模型通常包含数亿个参数，它们以牺牲可解释性为代价提供了最先进的性能；人类已无法追踪并理解其决策过程。最初为翻译任务引入的注意力机制，已成功应用于其他与语言相关的任务。我们提出了 AttViz，一个用于探索自注意力（即与单个文本词元相关联的实数值）的在线工具包。我们展示了现有的深度学习流水线如何生成适用于 AttViz 的输出，从而以极低的工作量在线提供注意力头及其聚合的新颖可视化。我们以新闻片段为例，展示了如何使用所提出的系统来检查并潜在地更好地理解模型已学习（或强调）的内容。
引用
@article{arxiv.2005.05716,
title = {AttViz: Online exploration of self-attention for transparent neural language modeling},
author = {Blaž Škrlj and Nika Eržen and Shane Sheehan and Saturnino Luz and Marko Robnik-Šikonja and Senja Pollak},
journal= {arXiv preprint arXiv:2005.05716},
year = {2020}
}