Penseit：少数据，更好推理——重新思考法语 LLM
计算与语言
2025-03-19 v1
摘要
大型语言模型（LLM）在various natural language processing tasks 上已展现出惊人的能力。然而，要在专门领域如数学推理和非英语语言中获得卓越性能，往往需要大量数据进行训练。本文探讨一种截然不同的方法：针对性地对仅包含 2000 多个精选样本的小规模高质量双语（英法）数据集进行精细调优，以提升大型语言模型在推理能力和法语语言熟练度方面的表现。我们通过针对性监督微调（SFT）仅使用 2000 个精心挑选的样本，显著提升了数学推理能力。具体而言，Penseit 7B 在 AIME25 上的准确率提升了基准模型最高达 20%，在法语数学等级 5 基准测试中提升了 12%。这些结果挑战了 LLM 需要大规模数据集才能实现强推理性能的主流观点，凸显了针对性数据精选和优化微调在提升专门技能和多语言能力方面的潜力。我们的发现对在资源受限场景下开发高性能多语言 LLM具有深远意义。
引用
@article{arxiv.2503.13661,
title = {Pensez: Less Data, Better Reasoning -- Rethinking French LLM},
author = {Huy Hoang Ha},
journal= {arXiv preprint arXiv:2503.13661},
year = {2025}
}