小模型，更智能的学习：联合任务训练的力量
机器学习
2026-02-03 v2 人工智能
摘要
多任务学习能提升泛化能力，但它何时会降低学习所需的模型容量？我们系统研究了联合训练如何影响学习转换，即任务可学习的最小模型容量，使用嵌套算术(ListOps)和置换群作为受控测试平台。某些任务组合显著降低模型容量需求：将简单操作(MAX、MIN、PROD)与困难操作(模加、置换乘积)结合，可使用少2-7倍的参数进行学习。关键的是，我们也识别出协同何时失效：配对结构相似的困难任务(如ADD与交替符号NADD)没有益处，配对缺乏共享计算原语的任务也没有益处。对学习嵌入的主成分分析揭示，成功的联合训练会诱导结构化的数表示(排序、奇偶性、模结构)，而单任务模型中不存在这些表示。迁移实验证实这些表示是因果性的：在简单任务上预训练的模型以7倍更小的容量学习加法。我们的结果确立了任务兼容性而非多样性决定联合训练是否降低容量需求，为课程设计提供了量化指导。
引用
@article{arxiv.2505.18369,
title = {Small Models, Smarter Learning: The Power of Joint Task Training},
author = {Csaba Both and Benjamin Hoover and Hendrik Strobelt and Dmitry Krotov and Daniel Karl I. Weidele and Mauro Martino and Nima Dehmamy},
journal= {arXiv preprint arXiv:2505.18369},
year = {2026}
}