神经特征映射的超平面边界
机器学习
2022-01-19 v1 人工智能
摘要
深度学习方法使用诸如交叉熵损失等损失函数来最小化经验风险。在最小化经验风险时，所学函数的泛化能力仍然取决于在训练数据上的表现、函数的Vapnik-Chervonenkis(VC)维数以及训练样本的数量。神经网络具有大量参数，这与其通常较大但并非无限的VC维数相关，并且通常需要大量训练实例才能有效地对其进行训练。在这项工作中，我们探索如何使用神经网络优化特征映射，旨在降低由该映射生成的空间中所找到的超平面的有效VC维数。对本项研究结果的一种解释是，可以定义一种损失函数来控制分离超平面的VC维数。我们评估了这种方法，并观察到在训练集规模较小时，使用此方法的性能会有所提升。
引用
@article{arxiv.2201.05799,
title = {Hyperplane bounds for neural feature mappings},
author = {Antonio Jimeno Yepes},
journal= {arXiv preprint arXiv:2201.05799},
year = {2022}
}