翻译与融合提升零样本跨语言信息抽取
计算与语言
2024-06-21 v3
摘要
大型语言模型(LLMs)结合指令微调在信息抽取(IE)任务中展现出显著进展，通过遵循标注指南对未见数据集表现出很强的泛化能力。然而，由于缺少用于微调的标注数据和用于预训练的未标注文本，它们对低资源语言的适用性仍然有限。在本文中，我们提出 TransFusion 框架，该框架将模型微调以使用低资源语言数据的英文翻译，通过标注融合实现更精准的预测。基于 TransFusion，我们引入 GoLLIE-TF，一个用于 IE 任务的跨语言指令微调 LLM，旨在缩小高资源与低资源语言之间的性能差距。我们在涵盖 50 种语言的十二个多语言 IE 数据集上的实验表明，GoLLIE-TF 相比基模型实现了更好的零样本跨语言迁移。此外，我们展示了 TransFusion 在应用于专有模型（如采用提示方法的 GPT-4，+5 F1）或对包括仅解码器(+14 F1)和仅编码器(+13 F1)架构的不同语言模型进行微调时，显著提升了低资源语言的命名实体识别。
引用
@article{arxiv.2305.13582,
title = {Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction},
author = {Yang Chen and Vedaant Shah and Alan Ritter},
journal= {arXiv preprint arXiv:2305.13582},
year = {2024}
}