用于逐层降低训练代价的高维神经特征设计
机器学习
2020-10-28 v2 机器学习
摘要
我们通过将特征向量在每一层映射到更高维空间来设计基于 ReLU 的多层神经网络。我们设计每一层的权重矩阵，以确保随着层数增加训练代价降低。如果在高维空间中最小化凸代价，则到目标的线性投影会导致更低的训练代价。在最小化中使用 范数凸约束以降低泛化误差并避免过拟合。网络的正则化超参数经解析推导，以保证训练代价的单调下降，从而消除了在每一层通过交叉验证寻找正则化超参数的需要。我们表明所提出的架构是保范数的并提供可逆特征向量，因此可用于降低任何其他采用线性投影估计目标的学习方法的训练代价。
引用
@article{arxiv.2003.13058,
title = {High-dimensional Neural Feature Design for Layer-wise Reduction of Training Cost},
author = {Alireza M. Javid and Arun Venkitaraman and Mikael Skoglund and Saikat Chatterjee},
journal= {arXiv preprint arXiv:2003.13058},
year = {2020}
}
备注
2020 EURASIP Journal on Advances in Signal Processing