探究训练后神经网络的决策边界
机器学习
2019-08-09 v1 机器学习
摘要
深度学习模型已从多种视角被研究,例如其训练过程、可解释性、泛化误差、对对抗攻击的鲁棒性等。一个训练好的模型由其决策边界定义,因此许多关于深度学习模型的研究推测决策边界,有时对其做简化假设。迄今,在训练好的深度模型决策边界上寻找精确点被视为难解问题。此处,我们计算这些模型决策边界上的精确点,并提供数学工具以探究定义决策边界的曲面。通过数值结果,我们确认关于决策边界的某些推测准确、某些计算方法可改进、而某些简化假设对于具有非线性激活函数的模型可能不可靠。我们主张在使用简化假设与近似方法处均应加以验证。最后,我们展示用于寻找对抗样本的计算实践可被改进,且计算决策边界上最近点揭示了模型针对对抗攻击的最弱漏洞。
引用
@article{arxiv.1908.02802,
title = {Investigating Decision Boundaries of Trained Neural Networks},
author = {Roozbeh Yousefzadeh and Dianne P O'Leary},
journal= {arXiv preprint arXiv:1908.02802},
year = {2019}
}