M2Lingual: 增强大语言模型中多语言、多轮指令对齐
计算与语言
2025-03-05 v3 人工智能
机器学习
摘要
指令微调（IFT）是将大语言模型（LLM）对齐以遵循指令的关键。尽管近期引入了许多有效的 IFT 数据集，但它们主要聚焦于像英语这样的高资源语言。为更广泛地对齐 LLM 跨语言和任务，本文提出一种全合成的、新颖的分类法（Evol）引导的多语言、多轮指令微调数据集，称为 M2Lingual。它首先选择多样化的种子示例，然后利用提出的 Evol 分类法将这些种子转换为复杂且具挑战性的多轮指令。我们通过训练不同大小的 LLM 并展示其在多样化语言上的增强性能来证明 M2Lingual 的有效性。我们贡献了两步 Evol 分类法配合的引导生成代码：https://github.com/ServiceNow/M2Lingual，以及第一个全合成的、通用且任务导向的、多轮、多语言数据集由 Evol 构建 — — M2Lingual：https://huggingface.co/datasets/ServiceNow-AI/M2Lingual — — 包含 182K 总计 IFT 对，覆盖 70 种语言和 17+ 项 NLP 任务。
引用
@article{arxiv.2406.16783,
title = {M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models},
author = {Rishabh Maheshwary and Vikas Yadav and Hoang Nguyen and Khyati Mahajan and Sathwik Tejaswi Madhusudhan},
journal= {arXiv preprint arXiv:2406.16783},
year = {2025}
}
备注
39 pages