利用潜几何图中标签变化对深度学习泛化能力排序
机器学习
2020-11-26 v1
摘要
在不依赖验证集的情况下度量深度神经网络（DNN）的泛化性能是一项困难任务。本工作中，我们提出利用潜几何图（LGG）来表示已训练 DNN 架构的潜空间。此类图通过连接在所给 DNN 特定层产生相似潜表示的样本而获得。随后，我们通过考察 LGG 中不同类别样本的连接强度来得到泛化分数。该分数使我们在 NeurIPS 2020 深度学习泛化预测（PGDL）竞赛中排名第三。
引用
@article{arxiv.2011.12737,
title = {Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs},
author = {Carlos Lassance and Louis Béthune and Myriam Bontonou and Mounia Hamidouche and Vincent Gripon},
journal= {arXiv preprint arXiv:2011.12737},
year = {2020}
}
备注
Short paper describing submission that got the 3rd place on the NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL) competition. We hope to update this with more analysis when the full data is made available