大规模协作学习
机器学习
2024-08-01 v1 人工智能
摘要
协作在人类智能的演化中扮演着至关重要的角色；此外，它也是驱动基础模型的人工智能（AI）近期革命性进步的基础。具体而言，我们揭示基础模型的训练可以被解释为一种大规模协作学习（简称为大规模学习），其中大量的学习个体/任务通过通用模型从数据预测的多样化视角协同逼近数据的独特本质。所提出的大规模学习因此在一致的框架内统一了基础模型的大多数训练目标，同时暴露出其底层假设。我们设计了专门的仿真来演示大规模学习的原理，并基于此为基础模型的成功提供了学习视角的论证，同时产生了有趣的副产品。进一步地，我们揭示大规模学习是升级传统机器学习范式的新维度，对于赋予相关应用新的活力具有重要价值；作为一个说明性示例，我们提出了 BigLearn-GAN，这是一个新颖的经过对抗训练的基础模型，具有多样的数据采样能力。代码可在 \texttt{https://github.com/YulaiCong/BigCooperativeLearning} 获取。
引用
@article{arxiv.2407.21319,
title = {Big Cooperative Learning},
author = {Yulai Cong},
journal= {arXiv preprint arXiv:2407.21319},
year = {2024}
}