深度回归集成
机器学习
2022-03-11 v1 机器学习
摘要
我们引入一种设计和训练深度神经网络（DNN）的方法论，称之为“深度回归集成”（DRE）。它弥合了DNN与使用随机特征回归训练的两层神经网络之间的差距。DRE的每一层有两个组件：随机抽取的输入权重，以及使用线性岭回归以短视方式（如同最终输出层）训练的输出权重。在一层内，每个神经元使用不同的输入子集和不同的岭惩罚，构成随机特征岭回归的集成。我们的实验表明，单一的DRE架构在许多数据集上与最先进的DNN相当或更优。然而，由于DRE的神经权重要么以闭式已知要么随机抽取，其计算成本比DNN小几个数量级。
引用
@article{arxiv.2203.05417,
title = {Deep Regression Ensembles},
author = {Antoine Didisheim and Bryan Kelly and Semyon Malamud},
journal= {arXiv preprint arXiv:2203.05417},
year = {2022}
}