稀疏流：修剪连续深度模型
机器学习
2021-11-22 v2 人工智能
摘要
连续深度学习架构能够实现灵活概率模型的学习，用于作为神经常微分方程（ODE）的预测建模以及作为连续归一化流的生成建模。本工作中，我们设计了一个框架，通过修剪其网络架构来解读这些连续深度模型的内部动态。我们的实证结果表明，修剪改善了神经 ODE 在生成建模中的泛化能力。我们实证表明，这种改善是因为修剪有助于避免模式崩溃并 flatten 损失曲面。此外，修剪找到了高效的神经 ODE 表示，与原始网络相比参数最多减少 98%，且不损失精度。我们希望我们的结果能激发对现代连续深度模型性能-规模权衡的进一步研究。
引用
@article{arxiv.2106.12718,
title = {Sparse Flows: Pruning Continuous-depth Models},
author = {Lucas Liebenwein and Ramin Hasani and Alexander Amini and Daniela Rus},
journal= {arXiv preprint arXiv:2106.12718},
year = {2021}
}
备注
NeurIPS 2021