求助 donors：使用 LLM 在不同语言之间传递 NLP 数据集
计算与语言
2024-10-21 v1
摘要
本文探讨了如何利用大语言模型（LLM）将数据集及其标注从一种语言传递到另一种语言。由于在不同语言之间共享知识有助于提升目标语言中某些资源不足的方向，能够显著节省数据标注或快速原型设计的大量工作。我们实验性地使用英语和俄语之间的语言对进行数据集转换，转换对象为 DEFT 语料库。该语料库包含三层标注，专注于术语-定义对挖掘，而这在俄语数据集中是一种稀少的标注类型。我们提供了一个基于 ChatGPT-3.5-turbo 和 Llama-3.1-8b 作为核心大语言模型的标注传递管线。最终，我们在转换后的数据集上训练基于 BERT 的模型，以建立基线。
引用
@article{arxiv.2410.14074,
title = {Be My Donor. Transfer the NLP Datasets Between the Languages Using LLM},
author = {Dmitrii Popov and Egor Terentev and Igor Buyanov},
journal= {arXiv preprint arXiv:2410.14074},
year = {2024}
}