面向低资源命名实体识别的反向注意力知识迁移
计算与语言
2023-01-10 v4
摘要
近年来，自然语言处理（NLP）的许多任务取得了巨大成功，例如命名实体识别（NER），尤其是在高资源语言即英语中，这部分归功于大量的标注资源。然而，大多数低资源语言没有像高资源英语那样丰富的标注数据，导致这些低资源语言中 NER 性能较差。受知识迁移启发，我们提出 Converse Attention Network（简称 CAN），通过利用在预训练高资源英语模型中学习到的知识来提升低资源语言中 NER 的性能。CAN 首先使用基于注意力的翻译模块将低资源语言翻译为高资源英语。在翻译过程中，CAN 获得对齐两种语言的注意力矩阵。此外，CAN 利用注意力矩阵将来自预训练高资源英语模型的高资源语义特征与低资源语义特征对齐。因此，CAN 获得对齐的高资源语义特征以丰富低资源语言的表示。在四个低资源 NER 数据集上的实验表明，CAN 取得了一致且显著的性能提升，证明了 CAN 的有效性。
引用
@article{arxiv.1906.01183,
title = {Converse Attention Knowledge Transfer for Low-Resource Named Entity Recognition},
author = {Shengfei Lyu and Linghao Sun and Huixiong Yi and Yong Liu and Huanhuan Chen and Chunyan Miao},
journal= {arXiv preprint arXiv:1906.01183},
year = {2023}
}