面向信息抽取的多源多目标零样本跨语言迁移学习：语言选择与对抗训练
计算与语言
2024-11-14 v1 人工智能
摘要
以往针对多语言信息抽取（IE）的研究大多局限于零样本跨语言单向迁移（一对一）设置，且主要以高资源语言作为源训练数据。因此，这些工作对开发能够泛化到尽可能多语言的多语言 IE 系统这一现实目标，提供的理解和帮助有限。本研究旨在通过针对涵盖多样语言的最新 IE 语料库，对跨语言多迁移性（多对多迁移学习）进行详细分析，以填补这一空白。具体而言，我们首先确定单向迁移性能与一系列基于语言学的距离之间的相关性。基于获得的洞见，可以开发一种组合语言距离度量，它不仅高度相关，而且在不同任务和模型规模下均具有鲁棒性。接下来，我们探讨更一般的零样本多语言迁移设置，即训练和评估过程涉及多种语言。基于新定义距离的语言聚类可为数据（语言）选择问题中的最优成本-性能权衡提供指导。最后，提出了一种关系迁移设置，利用上述语言距离诱导的关系，通过对抗训练进一步融合多语言无标签数据。
引用
@article{arxiv.2411.08785,
title = {Zero-shot Cross-lingual Transfer Learning with Multiple Source and Target Languages for Information Extraction: Language Selection and Adversarial Training},
author = {Nghia Trung Ngo and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2411.08785},
year = {2024}
}