从统一到语言特定训练的多语言实体与关系抽取
计算与语言
2023-01-12 v1
摘要
实体与关系抽取是信息抽取中的一项关键任务，其输出可用于下游 NLP 任务。现有的实体与关系抽取方法主要关注英文语料而忽略其他语言。因此，提升多语言环境下的性能至关重要。同时，多语言训练通常通过从某些语言（如高资源语言）向其他语言（如低资源语言）迁移知识来提升跨语言性能。然而，由于模型参数在所有语言间共享，多语言任务中通常存在语言干扰。本文中，我们提出一种两阶段多语言训练方法以及一个称为多语言实体与关系抽取框架（mERE）的联合模型，以缓解跨语言干扰。具体而言，我们随机拼接不同语言的句子来训练语言通用聚合器（LA），其通过获得统一语言表示来缩小嵌入表示的距离。然后，我们通过调优包含若干独立子模块以精炼语言特定特征表示的语言特定切换器（LS）来分离参数以缓解干扰。此后，为增强关系三元组抽取，将句子表示与关系特征拼接用于识别实体。大量实验结果表明，我们的方法优于单语言与多语言基线方法。此外，我们还进行了详细分析，表明 mERE 在关系三元组抽取上轻量且有效，且 mERE 易于迁移到多字段任务的其他骨干模型，这进一步证明了我们方法的有效性。
引用
@article{arxiv.2301.04434,
title = {Multilingual Entity and Relation Extraction from Unified to Language-specific Training},
author = {Zixiang Wang and Jian Yang and Tongliang Li and Jiaheng Liu and Ying Mo and Jiaqi Bai and Longtao He and Zhoujun Li},
journal= {arXiv preprint arXiv:2301.04434},
year = {2023}
}