SANVis：用于理解自注意力网络的可视分析系统
计算与语言
2019-09-23 v1 机器学习
神经与进化计算
摘要
注意力网络是一种受人类注意力机制启发的深度神经网络架构，已在图像字幕、机器翻译等诸多应用中取得显著成功。近来，其进一步演进为称为多头自注意力网络的高级方法，可将一组输入向量（如句子中的词向量）编码为另一组向量。此类编码旨在同时捕获集合内多样的句法与语义特征，每一特征对应一个特定注意力头，共同构成多头注意力。与此同时，模型复杂度的提升使用户难以轻松理解并操控模型内部机制。为应对这些挑战，我们提出名为SANVis的可视分析系统，帮助用户理解多头自注意力网络的行为与特性。利用名为Transformer的先进自注意力模型，我们展示了SANVis在机器翻译任务中的使用场景。我们的系统可从 http://short.sanvis.org 获取。
引用
@article{arxiv.1909.09595,
title = {SANVis: Visual Analytics for Understanding Self-Attention Networks},
author = {Cheonbok Park and Inyoup Na and Yongjang Jo and Sungbok Shin and Jaehyo Yoo and Bum Chul Kwon and Jian Zhao and Hyungjong Noh and Yeonsoo Lee and Jaegul Choo},
journal= {arXiv preprint arXiv:1909.09595},
year = {2019}
}
备注
VAST Short - IEEE VIS 2019