Pico：面向假设驱动的小型语言模型研究的模块化框架
计算与语言
2025-09-23 v1 人工智能
摘要
构建语言模型，尤其是中小型模型，目前仍是一门艺术而非科学。尽管大型语言模型通常通过纯粹的规模扩展来改进，但许多设计选择为何有效仍不清楚。对于小型语言模型，这种不确定性更具限制性：紧张的参数预算使每个决策都至关重要，然而研究人员仍然缺乏系统、科学的方法来测试和改进新想法。我们引入了 Pico，一个轻量级、模块化的框架，支持面向中小型语言模型开发的系统性、假设驱动研究。Pico 由两个库组成，它们共同提供了一个实用的沙盒，研究人员可以在其中对模型的架构或训练过程进行针对性修改，并直接观察其对模型行为的影响。为了支持可复现的实验，我们还发布了一套基准模型 pico-decoder，该模型在标准化条件下训练并面向社区开源。案例研究突出了 Pico 如何支持迭代的小型语言模型设计与分析。
引用
@article{arxiv.2509.16413,
title = {Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research},
author = {Richard Diehl Martinez and David Demitri Africa and Yuval Weiss and Suchir Salhan and Ryan Daniels and Paula Buttery},
journal= {arXiv preprint arXiv:2509.16413},
year = {2025}
}