通过可视化理解泛化
机器学习
2021-11-17 v6 神经与进化计算
机器学习
摘要
神经网络的能力在于其对未见过的数据进行泛化的能力，然而这一现象背后的原因仍然难以捉摸。已有大量严谨的尝试来解释泛化，但可用的界仍然相当宽松，且分析并不总能带来真正的理解。本工作的目标是使泛化更加直观。利用可视化方法，我们讨论了泛化之谜、损失景观的几何结构，以及维度灾难（或者更确切地说是维度祝福）如何导致优化器落入能够良好泛化的极小值。
引用
@article{arxiv.1906.03291,
title = {Understanding Generalization through Visualizations},
author = {W. Ronny Huang and Zeyad Emam and Micah Goldblum and Liam Fowl and J. K. Terry and Furong Huang and Tom Goldstein},
journal= {arXiv preprint arXiv:1906.03291},
year = {2021}
}
备注
8 pages (excluding acknowledgments and references), 8 figures