MT4CrossOIE：面向跨语言开放信息抽取的多阶段调优
计算与语言
2023-09-21 v2
摘要
跨语言开放信息抽取旨在从多种语言的原始文本中抽取结构化信息。先前工作使用共享的跨语言预训练模型处理不同语言，但未能充分利用语言特定表示的潜力。本文提出一种有效的多阶段调优框架MT4CrossIE，旨在通过向共享模型中注入语言特定知识来增强跨语言开放信息抽取。具体而言，跨语言预训练模型首先在固定编码器的共享语义空间（如嵌入矩阵）中调优，随后在第二阶段优化其他组件。充分训练后，我们冻结预训练模型，并使用混合LoRA（mixture-of-LoRAs）调优多个额外的低秩语言特定模块，以实现基于模型的跨语言迁移。此外，我们利用两阶段提示（two-stage prompting）鼓励大语言模型（LLM）标注多语言原始数据，实现基于数据的跨语言迁移。该模型在我们提出的OpenIE4++数据集上结合基于模型与基于数据的迁移技术，以多语言目标进行训练。在各基准上的实验结果强调了聚合多个即插即用语言特定模块的重要性，并证明了MT4CrossIE在跨语言OIE中的有效性。
引用
@article{arxiv.2308.06552,
title = {MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction},
author = {Tongliang Li and Zixiang Wang and Linzheng Chai and Jian Yang and Jiaqi Bai and Yuwei Yin and Jiaheng Liu and Hongcheng Guo and Liqun Yang and Hebboul Zine el-abidine and Zhoujun Li},
journal= {arXiv preprint arXiv:2308.06552},
year = {2023}
}
备注
10 pages