中文

CAWA:一种用于功劳归属的注意力网络

计算与语言 2019-11-27 v1 信息检索 机器学习

摘要

功劳归属(credit attribution)是将文档中的各个部分与其最合适的类别标签相关联的任务。这是一项重要的任务,在信息检索和文本摘要中有应用。当有标注的训练数据可用时,传统的序列标注方法可用于功劳归属。然而,生成此类标注数据集成本高且耗时。在本文中,我们提出“基于注意力的功劳归属(CAWA)”,一种基于神经网络的方法,它不使用句子级标注数据,而是将整个文档关联的类别标签集合作为远程监督(distant-supervision)的来源。CAWA将注意力机制与多标签分类器结合到一个端到端学习框架中来执行功劳归属。CAWA利用所得的注意力权重对输入文档中的各个句子进行标注。CAWA优于当前最先进的功劳归属方法,因为它不将句子限制为仅属于一个类别,而是将每个句子建模为在所有类别上的分布,从而更好地建模语义相似的类别。在多个数据集上的功劳归属任务实验表明,CAWA生成的句子类别标签优于竞争方法。此外,在多标签文本分类任务上,CAWA的表现也优于竞争的功劳归属方法。

关键词

引用

@article{arxiv.1911.11358,
  title  = {CAWA: An Attention-Network for Credit Attribution},
  author = {Saurav Manchanda and George Karypis},
  journal= {arXiv preprint arXiv:1911.11358},
  year   = {2019}
}

备注

To appear in AAAI 2020