加热决策边界：等容饱和、对抗场景与泛化界
机器学习
2021-01-18 v1 度量几何
概率论
统计理论
机器学习
统计理论
摘要
在本工作中，我们通过环境数据空间中的布朗运动过程及相关概率技术来研究分类器的决策边界。直观上，我们的思路相当于在决策边界放置热源并观察样本点被加热的效率。我们主要受寻找一种软度量以进一步揭示决策边界几何结构的动机驱动。在此过程中，我们将势理论与几何分析（Mazya, 2011; Grigoryan-Saloff-Coste, 2002）与机器学习研究中的活跃领域（如对抗样本与泛化界）联系起来。首先，我们基于对抗攻击/防御机制聚焦决策边界的几何行为。实验上，我们观察到不同对抗防御策略中存在某种容度趋势：如等周不等式所度量的那样（Ford et al, 2019），决策边界局部变得更平坦；然而，我们更敏感的热扩散度量扩展了该分析，并进一步揭示出一些基于距离的方法不可见的非平凡几何结构仍被保留。直观上，我们提供证据表明决策边界在更精细尺度上仍保留许多持续的'波动且模糊'区域。其次，我们展示了布朗击中概率如何转化为软泛化界，其进而与压缩和噪声稳定性相关（Arora et al, 2018），且若决策边界具有受控的几何特征，这些界显著更强。
引用
@article{arxiv.2101.06061,
title = {Heating up decision boundaries: isocapacitory saturation, adversarial scenarios and generalization bounds},
author = {Bogdan Georgiev and Lukas Franken and Mayukh Mukherjee},
journal= {arXiv preprint arXiv:2101.06061},
year = {2021}
}
备注
Accepted as conference paper at ICLR 2021. 36 pages, 16 figures, comments welcome!