深度曲率套件
机器学习
2020-05-26 v2 机器学习
摘要
我们提出 MLRG Deep Curvature 套件，一个基于 PyTorch 的开源包，用于神经网络曲率与损失景观的分析和可视化。尽管曲率信息能提供关于神经网络性质的丰富信息，并有助于各种设计任务，但由于种种原因，曲率信息仍未得到充分利用，而我们的方法旨在弥补这一差距。我们给出了作为本包理论支柱的 Lanczos 算法 的入门介绍，包括其主要实际需求和常见误解，并基于合成玩具示例和在 CIFAR 数据集上测试的真实现代神经网络给出了一系列示例，展示了我们的包相对于用于类似目的的现有竞争方法的优越性。
引用
@article{arxiv.1912.09656,
title = {Deep Curvature Suite},
author = {Diego Granziol and Xingchen Wan and Timur Garipov},
journal= {arXiv preprint arXiv:1912.09656},
year = {2020}
}
备注
11 pages, 11 figures