CRONOS：通过可扩展 GPU 加速凸神经网络增强深度学习
机器学习
2026-05-25 v1 最优化与控制
摘要
我们提出了 CRONOS 算法，用于两层神经网络的凸优化。CRONOS 是首个能够扩展到高维数据集（如 ImageNet）的算法，而这类数据集在现代深度学习中无处不在。这显著改进了先前的工作，后者仅限于 MNIST 和 CIFAR-10 的下采样版本。以 CRONOS 为基础，我们进一步开发了一种新算法 CRONOS-AM，它将 CRONOS 与交替最小化相结合，从而获得能够训练具有任意架构的多层网络的算法。我们的理论分析证明了 CRONOS 在温和假设下收敛到凸重构的全局最小值。此外，我们通过在 JAX 中进行 GPU 加速的大规模数值实验，验证了 CRONOS 和 CRONOS-AM 的有效性。我们的结果表明，CRONOS-AM 在视觉和语言任务上，在 ImageNet 和 IMDb 等基准数据集上，可以获得与主流调优深度学习优化器相当或更好的验证准确率。据我们所知，CRONOS 是首个利用凸重构来提升大规模学习任务性能的算法。
引用
@article{arxiv.2411.01088,
title = {CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks},
author = {Miria Feng and Zachary Frangella and Mert Pilanci},
journal= {arXiv preprint arXiv:2411.01088},
year = {2026}
}