CLASS-IT：面向幼儿语言模型的对话式与讲座对齐小规模指令调优
计算与语言
2025-10-30 v1
摘要
本文探讨了小规模语言模型是否能从指令调优中获益。我们比较了对话式和问答式指令调优数据集，分别以合并或顺序课程方式应用于1.2亿和1.4亿参数的解码器-only模型。评估覆盖细调（SuperGLUE）和零样本（BLiMP、EWoK、WUGs、实体追踪及心理语言学相关性）等多个场景。结果表明，指令调优在细调场景中虽仅带来小幅一致性提升，但顺序课程优于合并数据；然而，这些提升并不一致地传递到零样本任务，这表明了以互动为导向的适应与广泛语言泛化之间存在权衡。这些结果既凸显了将类人学习策略应用于低资源语言模型的潜力与限制，也指向了在生态训练限制下通过混合、课程化方法来提升泛化性的可能路径。
引用
@article{arxiv.2510.25364,
title = {CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs},
author = {Luca Capone and Alessandro Bondielli and Alessandro Lenci},
journal= {arXiv preprint arXiv:2510.25364},
year = {2025}
}
备注
Paper accepted for oral presentation at the BabyLM Challange 2025 (EMNLP2025)