深度神经网络的 Lipschitz 正则性：分析与高效估计
机器学习
2019-10-28 v2 机器学习
摘要
深度神经网络以对微小精心扰动敏感而著称，估计此类架构的正则性对于安全鲁棒的实际应用至关重要。本文研究评估此类方法正则性的关键特征之一：深度学习架构的 Lipschitz 常数。首先，我们证明即便对两层神经网络，该量的精确计算也是 NP-hard 的，且现有最优方法可能显著高估它。随后，我们扩展并改进先前的估计方法，提出 AutoLip——首个用于上界估计任意自动可微函数 Lipschitz 常数的通用算法。我们提供基于自动微分的幂法算法，即便对大型卷积也能高效计算。其次，对序列神经网络，我们提出改进算法 SeqLip，利用线性计算图按相邻层对拆分计算。第三，我们针对 SeqLip 提出启发式策略以处理极大型网络。实验表明 SeqLip 能显著改进现有上界。最后，我们在 PyTorch 环境中提供 AutoLip 实现，可用于更好地估计给定神经网络对微小扰动的鲁棒性，或利用更精确的 Lipschitz 估计对其进行正则化。
引用
@article{arxiv.1805.10965,
title = {Lipschitz regularity of deep neural networks: analysis and efficient estimation},
author = {Kevin Scaman and Aladin Virmaux},
journal= {arXiv preprint arXiv:1805.10965},
year = {2019}
}
备注
12 pages, 3 figures