通过纵向研究理解 LLM 的演进：来自 Open Ko-LLM Leaderboard 的洞察
计算与语言
2025-03-05 v3 人工智能
摘要
本文对 Open Ko-LLM Leaderboard 进行了为期十一个月的纵向研究，以解决先前研究的局限性，这些先前研究依赖于观察期仅五个月的经验性研究。通过延长分析持续时间，我们旨在更全面地理解韩语大语言模型（LLM）的发展进程。我们的研究由三个主要研究问题指导：（1）随着时间的推移，在 Open Ko-LLM Leaderboard 上提升 LLM 在多样化任务中的性能存在哪些具体挑战？（2）模型大小如何影响各种基准测试之间的任务性能相关性？（3）Open Ko-LLM Leaderboard 上的排行榜排名模式随时间发生了怎样的变化？通过分析此期间的 1,769 个模型，我们的研究对 LLM 的持续进步和评估框架的演变性质提供了全面的考察。
引用
@article{arxiv.2409.03257,
title = {Understanding LLM Development Through Longitudinal Study: Insights from the Open Ko-LLM Leaderboard},
author = {Chanjun Park and Hyeonwoo Kim},
journal= {arXiv preprint arXiv:2409.03257},
year = {2025}
}
备注
Accepted to NAACL 2025 Industry