从条件柯尔莫哥洛夫复杂度的视角统一两种类型的缩放定律
人工智能
2025-02-11 v2
摘要
2020 年，OpenAI 提出了第一种类型的 Scaling Laws，描述了模型损失与参数、数据和训练计算规模之间的关系。2024 年，OpenAI 提出了第二种类型的 Scaling Laws，描述了模型推理性能与推理计算之间的关系。在本文中，我们使用条件柯尔莫哥洛夫复杂度，从无损压缩的角度分析了 LLM 的训练和推理过程，并统一了这两种类型的 Scaling Laws。我们发现，这两种类型的 Scaling Laws 都通过增加图灵机的执行步骤来提高对条件柯尔莫哥洛夫复杂度的近似。第一种类型的 Scaling Laws 通过增加模型参数的数量来增加执行步骤。第二种类型的 Scaling Laws 通过增加中间 token 的数量来增加执行步骤。
关键词
引用
@article{arxiv.2501.06802,
title = {Unifying Two Types of Scaling Laws from the Perspective of Conditional Kolmogorov Complexity},
author = {Jun Wan},
journal= {arXiv preprint arXiv:2501.06802},
year = {2025}
}