单解超体积最大化及其在改善神经网络泛化中的应用
机器学习
2016-02-04 v1 神经与进化计算
机器学习
摘要
本文引入单解超体积最大化作为平均损失最小化的替代方案。通过当一个问题的最优解在另一个问题上评估时成本函数的界，证明了两个问题之间的关系，并带有一个超参数来控制两个问题之间的相似性。同一超参数允许在计算超体积梯度时对具有较高损失的样本赋予较高权重，其归一化版本可从平均损失到最大损失。在MNIST上使用神经网络进行的实验验证了所发展理论，表明超体积最大化可表现与平均损失最小化相似，并且可提供更好性能，导致测试集上分类误差减少20%。
引用
@article{arxiv.1602.01164,
title = {Single-Solution Hypervolume Maximization and its use for Improving Generalization of Neural Networks},
author = {Conrado S. Miranda and Fernando J. Von Zuben},
journal= {arXiv preprint arXiv:1602.01164},
year = {2016}
}