典型可学习任务空间的一幅图景
机器学习
2023-07-25 v4
摘要
我们发展信息几何技术,以理解在使用监督学习、元学习、半监督学习和对比学习在不同任务上训练深度网络时所习得的表示。我们阐明了以下与任务空间结构相关的现象:(1) 使用不同表示学习方法在不同任务上训练的概率模型流形实际上是低维的;(2) 在一个任务上的监督学习即使在看似不相似的任务上也带来惊人的进展;若训练任务具有多样类别,则在其他任务上的进展更大;(3) 我们的分析所指示的任务空间结构与 Wordnet 系统发育树的部分一致;(4) 情景元学习算法与监督学习在训练期间遍历不同轨迹,但最终拟合相似模型;(5) 对比与半监督学习方法遍历与监督学习相似的轨迹。我们使用由 CIFAR-10 和 Imagenet 数据集构建的分类任务来研究这些现象。
引用
@article{arxiv.2210.17011,
title = {A picture of the space of typical learnable tasks},
author = {Rahul Ramesh and Jialin Mao and Itay Griniasty and Rubing Yang and Han Kheng Teoh and Mark Transtrum and James P. Sethna and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2210.17011},
year = {2023}
}