关注注意力：在序列分析中高亮有影响力的样本
机器学习
2018-08-08 v1 计算与语言
机器学习
摘要
在 (Yang et al. 2016) 中，研究者创建了用于文档分类的分层注意力网络（HAN）。该注意力层可用于可视化对文档分类有影响力的文本，从而解释模型的预测。我们成功地将 HAN 应用于序列分析任务，形式为对话中话轮转换的实时监控。然而，我们发现了一些实例，其中注意力权重在停止点处是均匀的（表明所有话轮对分类器具有同等影响力），阻碍了有意义的可视化以用于实时人工审查或分类器改进。我们观察到话轮的注意力权重随着对话推进而波动，表明话轮的影响力随对话状态而变化。利用这一观察，我们开发了一种方法，在注意力权重均匀的情况下，利用话轮重要性随对话推进的变化来创建更具信息量的实时可视化（经人工审查者确认）。
引用
@article{arxiv.1808.02113,
title = {Paying Attention to Attention: Highlighting Influential Samples in Sequential Analysis},
author = {Cynthia Freeman and Jonathan Merriman and Abhinav Aggarwal and Ian Beaver and Abdullah Mueen},
journal= {arXiv preprint arXiv:1808.02113},
year = {2018}
}