你在看什么？用DeepLIFT揭示BERT在问答任务中的注意力
计算与语言
2019-10-16 v1
摘要
近来，通过在大量任务数据上预训练并微调的神经网络在应对具有挑战性的自然语言处理（NLP）任务上取得了巨大成功。本文中，我们研究此类模型之一——用于问答的BERT，旨在分析其为何能取得显著优于其他模型的结果。我们对模型预测运行DeepLIFT并测试输出，以监测输入注意力值的变化。我们还对结果进行聚类，以根据模型试图回答的输入段落和问题的类型，分析是否存在类似于人类推理的可能模式。
引用
@article{arxiv.1910.06431,
title = {Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering},
author = {Ekaterina Arkhangelskaia and Sourav Dutta},
journal= {arXiv preprint arXiv:1910.06431},
year = {2019}
}
备注
6 pages, 13 figures