中文

mEdIT:通过指令微调实现多语言文本编辑

计算与语言 2024-04-18 v2 人工智能

摘要

我们介绍了mEdIT,这是CoEdIT的多语言扩展——CoEdIT是近期最先进的写作辅助文本编辑模型。mEdIT模型通过指令微调对多语言大型预训练语言模型(LLM)进行微调训练。它们旨在接收用户以自然语言指令形式指定所需文本属性的指令,例如“Grammatik korrigieren”(德语)或“Parafrasee la oración”(西班牙语)。我们通过整理来自多个公开人工标注文本编辑数据集的数据来构建mEdIT,这些数据集涵盖六个不同语系的多种语言,涉及三个文本编辑任务(语法纠错、文本简化和改写)。我们详细介绍了mEdIT模型的设计和训练,并展示了它们在与其它多语言LLM相比的多个多语言文本编辑基准上的强劲性能。我们还发现,mEdIT在多语言基线上能有效泛化到新语言。我们在https://github.com/vipulraheja/medit公开了我们的数据、代码和训练模型。

关键词

引用

@article{arxiv.2402.16472,
  title  = {mEdIT: Multilingual Text Editing via Instruction Tuning},
  author = {Vipul Raheja and Dimitris Alikaniotis and Vivek Kulkarni and Bashar Alhafni and Dhruv Kumar},
  journal= {arXiv preprint arXiv:2402.16472},
  year   = {2024}
}

备注

Accepted to NAACL 2024 (Main). 23 pages, 8 tables, 11 figures