深度神经网络中 Lipschitz 正则化的耦合效应
机器学习
2019-04-15 v1 机器学习
摘要
我们研究当输入数据受随机不确定性影响时，深度前馈神经网络的鲁棒性。更具体地，我们考虑通过 Lipschitz 常数对网络进行正则化，并强调其作用。我们指出该正则化不仅是控制权重大小的一种方式，还对跨层的网络权重具有耦合效应。我们在一数据集上提出主张并展示证据：该耦合效应带来了网络鲁棒性与表达能力之间的权衡。这表明 Lipschitz 正则化应被谨慎实施，以维持跨层的耦合。
引用
@article{arxiv.1904.06253,
title = {The coupling effect of Lipschitz regularization in deep neural networks},
author = {Nicolas Couellan},
journal= {arXiv preprint arXiv:1904.06253},
year = {2019}
}