杰克与全才大师：从大型预训练模型一次性学习模型集之集
神经与进化计算
2024-06-24 v3
摘要
对于深度学习而言，规模即力量。在广泛数据上针对一系列任务训练的大规模神经网络处于人工智能的前沿。这些大型预训练模型或所谓“万金油”(Jacks of All Trades, JATs)，在为下游任务微调时，正日益成为推动深度学习进展的关键。然而，在资源严格受限、目标与意图多变或任务需求多样的环境中，单一 JAT 的实际效用可能受限。因此，在与当前构建越来越大 JAT 的趋势并进的同时，本文对构建多样化紧凑机器学习模型集这一概念背后的原理进行了初步探索。该“集之集”由许多更小且专用的模型组成，旨在同时满足多种任务设置与环境条件。我们首次提出了一种通过神经进化多任务算法的一次性遍历来可行地得到此种集合的方法，使我们更接近于 collectively Masters of All Trades（集体意义上的全才大师）的模型。
引用
@article{arxiv.2205.00671,
title = {Jack and Masters of all Trades: One-Pass Learning Sets of Model Sets From Large Pre-Trained Models},
author = {Han Xiang Choong and Yew-Soon Ong and Abhishek Gupta and Caishun Chen and Ray Lim},
journal= {arXiv preprint arXiv:2205.00671},
year = {2024}
}
备注
This article has been published in the IEEE Computational Intelligence Magazine. We have updated the article's Title, Authors, and Abstract in the latest version