SensLI:基于敏感性的神经网络层插入方法
机器学习
2025-06-18 v2 最优化与控制
摘要
神经网络的训练需要繁琐且常依赖人工调节的网络架构设计。我们提出一种在训练过程中插入新层的系统化方法。我们的方法消除了训练前选定固定网络规模的需求,计算代价低,且适用于包括全连接前馈网络、ResNets和CNNs在内的多种架构。我们的技术借鉴约束优化思想,基于损失函数相对于若插入额外层将提供的虚拟参数的一阶敏感性信息。数值实验中,我们提出的基于敏感性的层插入技术(SensLI)相比固定架构训练在训练损失与测试误差上表现更优,且相比从头训练扩展架构计算开销更小。我们的代码见 https://github.com/mathemml/SensLI。
引用
@article{arxiv.2311.15995,
title = {SensLI: Sensitivity-Based Layer Insertion for Neural Networks},
author = {Leonie Kreis and Evelyn Herberg and Frederik Köhne and Anton Schiela and Roland Herzog},
journal= {arXiv preprint arXiv:2311.15995},
year = {2025}
}