RedEx：通过凸优化超越固定表征方法
机器学习
2024-01-17 v1 最优化与控制
机器学习
摘要
优化神经网络是一项困难的任务，至今仍未得到充分理解。另一方面，固定表征方法（如核方法和随机特征）具有可证明的优化保证，但由于其固有的无法学习表征的能力，导致性能较差。本文旨在弥合这一差距，提出一种名为 RedEx（Reduced Expander Extractor，约化扩展器提取器）的新型架构，其表达能力与神经网络相当，并且可以通过具有半定约束和优化保证的凸规划以逐层方式进行训练。我们还证明，RedEx 在可证明的意义上超越了固定表征方法，即它可以高效地学习一类固定表征方法无法学习的目标函数。
引用
@article{arxiv.2401.07606,
title = {RedEx: Beyond Fixed Representation Methods via Convex Optimization},
author = {Amit Daniely and Mariano Schain and Gilad Yehudai},
journal= {arXiv preprint arXiv:2401.07606},
year = {2024}
}