用于神经网络稀疏性与鲁棒性的状态驱动隐式建模
机器学习
2022-09-21 v1 最优化与控制
摘要
隐式模型是一类通用的学习模型，其放弃了神经网络中典型的层次化层结构，而是基于“平衡”方程定义内部状态，具有具竞争力的性能并降低了内存消耗。然而，此类模型的训练通常依赖昂贵的隐式微分进行反向传播。在本工作中，我们提出一种训练隐式模型的新方法，称为状态驱动隐式建模（State-driven Implicit Modeling, SIM），其中我们约束内部状态和输出与基线模型匹配，从而规避代价高昂的反向计算。该训练问题在构造上是凸的，并且由于其可分解结构可以并行求解。我们展示了SIM方法如何应用于显著改善在FashionMNIST和CIFAR-100数据集上训练的基线模型的稀疏性（参数缩减）和鲁棒性。
引用
@article{arxiv.2209.09389,
title = {State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks},
author = {Alicia Y. Tsai and Juliette Decugis and Laurent El Ghaoui and Alper Atamtürk},
journal= {arXiv preprint arXiv:2209.09389},
year = {2022}
}