迈向大核模型
机器学习
2023-06-21 v3 机器学习
摘要
最近的研究表明，核机器在小数据集上的表现通常可以与深度神经网络（DNN）相当甚至更好。发现核机器在某些机制下与宽神经网络的等价性进一步激发了人们对核机器的兴趣。然而，DNN 的一个关键特征是能够独立缩放模型大小和训练数据大小，而传统核机器中模型大小与数据大小绑定。由于这种耦合，将核机器缩放至大数据在计算上具有挑战性。在本文中，我们为构建大规模通用核模型提供了一条前进道路，它是核机器的推广，解耦了模型与数据，允许在大数据集上进行训练。具体而言，我们引入了基于投影对偶预条件 SGD 的 EigenPro 3.0 算法，并展示了向现有核方法无法企及的模型和数据规模的扩展。
引用
@article{arxiv.2302.02605,
title = {Toward Large Kernel Models},
author = {Amirhesam Abedsoltan and Mikhail Belkin and Parthe Pandit},
journal= {arXiv preprint arXiv:2302.02605},
year = {2023}
}
备注
Code is available at github.com/EigenPro/EigenPro3