何时生长？深度神经网络中适配风险的层生长策略
机器学习
2024-01-09 v1
摘要
神经生长是将一个小型神经网络生长为大型网络的过程，已被用于加速深度神经网络的训练。神经生长的一个关键方面是确定最佳生长时机。然而，很少有研究对此进行系统探讨。我们的研究揭示，神经生长固有地表现出一种正则化效应，其强度受所选择的生长时机策略影响。虽然这种正则化效应可能减轻模型的过拟合风险，但当模型欠拟合时，它可能导致显著的准确率下降。然而，由于现有方法未考虑神经生长带来的正则化效应，它们尚未解决这一问题。受这些发现启发，我们提出了一种欠拟合/过拟合风险感知的生长时机策略，该策略根据潜在的欠拟合/过拟合风险水平自动调整生长时机，以应对这两种风险。使用 CIFAR-10/100 和 ImageNet 数据集进行的综合实验表明，与现有方法相比，所提出的策略在易欠拟合的模型中实现了高达 1.3% 的准确率提升，同时在遭受过拟合的模型中达到了相似的准确率。
引用
@article{arxiv.2401.03104,
title = {When To Grow? A Fitting Risk-Aware Policy for Layer Growing in Deep Neural Networks},
author = {Haihang Wu and Wei Wang and Tamasha Malepathirana and Damith Senanayake and Denny Oetomo and Saman Halgamuge},
journal= {arXiv preprint arXiv:2401.03104},
year = {2024}
}
备注
Accepted by AAAI'24