基于指令感知的非英语指令数据集翻译框架——InstaTrans
计算与语言
2024-10-03 v1 人工智能
摘要
由于尾部现象（tail phenomena），为非英语语言生成高质量的指令数据集是一个具有挑战性的问题，这限制了其在较少观察数据的上的性能。为缓解这一问题，我们提出通过翻译现有的高质量英语指令数据集作为解决方案，强调需要完整且指令感知的翻译才能保持这些数据集固有的属性。我们认为，通过这种方式翻译的数据集进行微调可以提高模型在目标语言上的性能。为此，我们提出了专为指令数据集设计的新型翻译框架，称为InstaTrans（INSTruction-Aware TRANSlation）。通过大量实验，我们展示了InstaTrans在翻译的完整性和指令感知性方面优于其他竞争方法，凸显了其在相对低成本下拓宽LLMs在多语言覆盖范围的潜力。进一步地，我们验证了使用InstaTrans翻译的数据集进行微调，能够有效提升模型在目标语言上的性能。
引用
@article{arxiv.2410.01512,
title = {InstaTrans: An Instruction-Aware Translation Framework for Non-English Instruction Datasets},
author = {Yungi Kim and Chanjun Park},
journal= {arXiv preprint arXiv:2410.01512},
year = {2024}
}