摘要与话题分割中可解释注意力模式的人机协同利用
计算与语言
2022-10-28 v2 人工智能
摘要
Transformer 模型的多头自注意力机制近来已被深入研究。在一条研究脉络中，研究者致力于理解 Transformer 为何及如何工作。在另一条脉络中，研究者提出新的注意力增强方法以使 Transformer 更准确、高效且可解释。本文将这两条研究线结合于人机协同（human-in-the-loop）流程中，首先发现重要的任务特定注意力模式。随后将这些模式注入，不仅注入到更小的模型，也注入到原始模型中。我们的流程及所发现模式的好处通过抽取式摘要与话题分割两个案例研究得以展示。在针对两项下游任务微调的基于 BERT 的模型中发现了可解释模式后，实验表明，当我们将这些模式注入注意力头时，模型在准确性与效率上均表现出显著提升。
引用
@article{arxiv.2112.05364,
title = {Human Guided Exploitation of Interpretable Attention Patterns in Summarization and Topic Segmentation},
author = {Raymond Li and Wen Xiao and Linzi Xing and Lanjun Wang and Gabriel Murray and Giuseppe Carenini},
journal= {arXiv preprint arXiv:2112.05364},
year = {2022}
}
备注
16 pages, 4 figures, Camera-Ready for EMNLP 2022 (Long Paper)