神经网络结构搜索的可加正则化方案
机器学习
2024-06-21 v1
摘要
神经网络结构对预测的准确性和稳定性具有关键影响。神经网络结构搜索程序有助于根据某些损失函数设计最优神经网络，该损失函数代表一组质量准则。本文针对神经网络结构优化问题提出了方法，提出构建包含若干可加元素的损失函数，其中每个元素称为正则化器。每个正则化器对应于神经网络结构的某一部分，并代表优化某一部分的准则。在优化过程中，结构按迭代方式进行更改。为优化结构的不同部分，该程序根据某种方案更改正则化器的集合。作者提出构建可加正则化方案的方法。通过将正则化模型与非正则化模型进行比较，并针对多个数据集进行计算实验，结果表明该方法能够找到高效的神经网络结构，构建出结构低复杂度且准确的网络。
引用
@article{arxiv.2406.12992,
title = {Additive regularization schedule for neural architecture search},
author = {Mark Potanin and Kirill Vayser and Vadim Strijov},
journal= {arXiv preprint arXiv:2406.12992},
year = {2024}
}