ProKD：一种面向零资源跨语言命名实体识别的无监督原型知识蒸馏网络
计算与语言
2023-02-08 v2 人工智能
摘要
对于零资源语言中的命名实体识别（NER），利用知识蒸馏方法将语言无关知识从富资源源语言迁移到零资源语言是一种有效手段。通常，这些方法采用教师-学生架构，其中教师网络在源语言上训练，学生网络力求从教师网络学习知识并期望在目标语言中表现良好。尽管这些方法取得了令人印象深刻的性能，我们认为它们存在两个局限。首先，由于源语言与目标语言间特征分布的差异，教师网络未能有效学习跨语言共享的语言无关知识。其次，学生网络从教师网络获取其全部知识，忽略了目标语言特定知识的学习。这些局限不利于模型在目标语言中的表现。本文提出一种无监督原型知识蒸馏网络（ProKD）以解决这些问题。具体而言，ProKD 提出一种基于对比学习的原型对齐方法，通过调整源语言与目标语言中原型间的距离来实现类特征对齐，提升教师网络获取语言无关知识的能力。此外，ProKD 引入一种原型自训练方法，利用样本距原型的距离信息在目标数据上重新训练学生网络，从而学习语言的内在结构，增强学生网络获取语言特定知识的能力。在三个基准跨语言 NER 数据集上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2301.08855,
title = {ProKD: An Unsupervised Prototypical Knowledge Distillation Network for Zero-Resource Cross-Lingual Named Entity Recognition},
author = {Ling Ge and Chunming Hu and Guanghui Ma and Hong Zhang and Jihong Liu},
journal= {arXiv preprint arXiv:2301.08855},
year = {2023}
}
备注
AAAI 2023