通过为 LLM 微调选择更优数据来提升翻译质量：一项比较分析
计算与语言
2025-12-15 v1
摘要
我们研究了数据选择对开源 LLM 机器翻译微调的影响。使用日英语料库，我们在受控训练条件下比较了五种选择器：TF-IDF、COMET Kiwi、QuRate、FD-Score 和随机选择。我们观察到，语义选择器始终优于基于词法与几何的启发式方法，并且即使所选数据差异不到 3%，对模型性能的影响也十分显著，凸显了微调对数据质量的敏感性。
引用
@article{arxiv.2512.11388,
title = {Improving Translation Quality by Selecting Better Data for LLM Fine-Tuning: A Comparative Analysis},
author = {Felipe Ribeiro Fujita de Mello and Hideyuki Takada},
journal= {arXiv preprint arXiv:2512.11388},
year = {2025}
}
备注
To appear at IEEE Big Data 2025