基于 NNK 多面体插值的无验证集通道级早停方法
机器学习
2021-07-28 v1 机器学习
摘要
最先进的神经网络架构规模持续扩大并给出令人印象深刻的泛化结果，尽管这以有限的可解释性为代价。特别地，一个关键挑战是确定何时停止训练模型，因为这显著影响泛化。卷积神经网络（ConvNets）由多个通道聚合形成高维特征空间，由于维数灾难，分析中间数据表示及模型演化可能具有挑战性。我们提出通道级 DeepNNK（CW-DeepNNK），一种基于非负核回归（NNK）图的新型通道级泛化估计，借此我们在低维通道上执行局部多面体插值。该方法带来对所学数据表示及通道间关系的基于实例的可解释性。受我们观察的启发，我们使用 CW-DeepNNK 提出一种新颖的早停准则，其（i）不需要验证集，（ii）基于任务性能度量，且（iii）允许每个通道在不同点达到停止。我们的实验表明，与基于验证集性能的标准准则相比，我们提出的方法具有优势。
引用
@article{arxiv.2107.12972,
title = {Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation},
author = {David Bonet and Antonio Ortega and Javier Ruiz-Hidalgo and Sarath Shekkizhar},
journal= {arXiv preprint arXiv:2107.12972},
year = {2021}
}
备注
Submitted to APSIPA 2021