缩放定律并不随规模而缩放

近期有研究主张在越来越大的数据集上训练 AI 模型，认为随着数据集规模增大，在该数据集上训练的模型性能将相应提升（被称为“缩放定律”）。在本文中，我们借鉴社会科学与机器学习的文献，对这些主张进行批判性审视。我们认为，这种缩放定律关系依赖于用于衡量性能的度量指标，而这些指标可能并不对应于不同人群对模型输出质量的感知。随着用于训练大型 AI 模型的数据集规模增长，且 AI 系统影响的人群日益扩大，训练或评估数据集中所代表的异质社群数量也在增加。因此，数据集中所代表的社群拥有未被（或与）缩放定律中评估模型性能的度量指标所反映的价值观或偏好，变得更为可能。不同社群彼此间的价值观也可能存在张力，从而导致关于模型评估度量指标的艰难且可能不可调和的抉择——威胁到模型性能随规模提升这一论断的有效性。我们在文末讨论了其对 AI 发展的启示：抓取越来越大数据集的动机，可能基于关于模型性能的根本性错误假设。也就是说，模型事实上可能不会随数据集增大而持续改善——至少对于受这些模型影响的所有人或社群而言并非如此。我们建议该领域重新审视 AI 发展中的规范与价值观，抵制大型模型普适性的主张，培育更多本地化、小规模的设计，以及其他抵制 AI 规模化冲动的途径。