跨越边界：迈向对深度学习及其（非）鲁棒性的严谨理解
机器学习
2023-07-06 v1
摘要
机器学习在各应用领域的最新进展很大程度上可归因于深度学习（DL）方法与架构的兴起。尽管作为自动驾驶汽车、图像处理、语音识别等背后的关键技术，一个臭名昭著的问题仍是缺乏对 DL 及其可解释性与（对抗）鲁棒性问题的理论理解。从数学视角看，理解 DL 相较于例如其他形式的非线性回归方法或统计学习的特性是有趣的，但同时在实践中至关重要：将神经网络视为纯粹黑箱在某些情形下或已足够，但许多应用要求防水的性能保证以及对什么可能出错及为何出错的更深理解。或许可以说，尽管作为逼近复杂函数的方法在数学上有着良好基础，DL 大多仍更像是牢牢掌握在工程师与计算机科学家手中的现代炼金术。然而，显然 DL 的某些可解释其应用成功的特性需要系统的数学方法。本工作中，我们回顾 DL 的鲁棒性问题，并特别桥接从逼近论到统计学习论的关切与尝试。此外，我们回顾贝叶斯深度学习（Bayesian Deep Learning）作为一种不确定性量化与严谨可解释性的手段。
引用
@article{arxiv.2307.02454,
title = {Transgressing the boundaries: towards a rigorous understanding of deep learning and its (non-)robustness},
author = {Carsten Hartmann and Lorenz Richter},
journal= {arXiv preprint arXiv:2307.02454},
year = {2023}
}