统一神经尺度规律
机器学习
2026-05-27 v1 人工智能
神经与进化计算
摘要
我们提出了一种函数形式（我们称为统一神经尺度规律（Unified Neural Scaling Law, UNSL）），准确地建模和外推深度神经网络的尺度行为，当多个维度同时变化时（即感兴趣的评估指标如何随着模型参数数量、训练数据集大小、训练步数、推断步数、计算量以及各种超参数的同步变化而变化），适用于各种架构以及一组 varied upstream 和 downstream 任务中的每个任务。该集合包括大规模视觉、语言、数学和强化学习。与其他神经尺度函数形式相比，该函数形式在该集合上生成的尺度行为外推准确性更高。
引用
@article{arxiv.2605.26248,
title = {Unified Neural Scaling Laws},
author = {Ethan Caballero and Priyank Jaini and David Krueger and Irina Rish},
journal= {arXiv preprint arXiv:2605.26248},
year = {2026}
}