算力有余，数据不足：芬兰大语言模型后训练的经验教训
计算与语言
2025-03-13 v1
摘要
随着大语言模型（LLM）作为聊天机器人和通用助手越来越受欢迎，人们已开发出使LLM能够遵循指令并与人类偏好对齐的方法。这些方法在该领域取得了成功，但其有效性尚未在高资源语言之外得到验证。在本工作中，我们讨论了我们在英语和芬兰语上对LLM进行指令遵循后训练的经验。我们使用多语言LLM将指令和偏好数据集从英语翻译为芬兰语。我们在英语和芬兰语上分别进行指令微调和偏好优化，并评估模型在两种语言上的指令遵循能力。我们的结果表明，仅使用数百条芬兰语指令样本即可在芬兰语指令遵循任务上获得具有竞争力的性能。我们还发现，尽管英语偏好优化提供了一些跨语言收益，但使用两种语言的偏好数据可以获得最佳结果。我们在开放许可证下发布了模型、数据集和训练方案，地址为 https://huggingface.co/LumiOpen/Poro-34B-chat-OpenAssistant
引用
@article{arxiv.2503.09407,
title = {Got Compute, but No Data: Lessons From Post-training a Finnish LLM},
author = {Elaine Zosa and Ville Komulainen and Sampo Pyysalo},
journal= {arXiv preprint arXiv:2503.09407},
year = {2025}
}
备注
7 pages