面向内存高效深度神经网络训练的流形正则化
机器学习
2023-05-29 v1 计算机视觉与模式识别
机器学习
摘要
机器学习和深度学习社区中的一个普遍趋势是倾向于使用越来越大的模型，以不断推高最先进性能的上限。这种倾向使普通从业者更难获取相关技术，并且与该领域知识生产民主化的诉求相悖。在本文中，我们提出了一种框架，通过利用归纳偏置驱动的网络设计原则和逐层流形导向的正则化目标，在传统神经网络的学习过程中实现改进的内存效率。使用该框架可相对于传统学习技术提升绝对性能和经验泛化误差。我们提供了该框架的经验验证，包括其在两个标准图像数据集（即 CIFAR-10 和 CIFAR-100）上有效性的定性与定量证据。所提框架可与现有的网络压缩方法无缝结合以进一步节省内存。
引用
@article{arxiv.2305.17119,
title = {Manifold Regularization for Memory-Efficient Training of Deep Neural Networks},
author = {Shadi Sartipi and Edgar A. Bernal},
journal= {arXiv preprint arXiv:2305.17119},
year = {2023}
}