流形上投影梯度下降
机器学习
2023-08-24 v1 数值分析
数值分析
摘要
本工作为高精度数据的类别流形微分几何提供了可计算、直接且数学严谨的近似，以及从输入空间到这些类别流形的非线性投影。这些工具应用于神经网络图像分类器场景，我们生成新颖的流形上数据样本，并实现用于流形上对抗训练的投影梯度下降算法。神经网络（NNs）易受对抗攻击的脆弱性凸显了 NN 在输入空间中决策边界的脆性。训练时引入对抗样本已被证明可降低 NN 受对抗攻击的脆弱性；然而，若样本非该类有效样本，则亦被证明会降低分类器准确率。真实的“流形上”样本此前由自编码器潜空间中的类别流形生成。我们的工作在比 VAE 或其他黑箱降维所能提供的更贴近原始高维输入空间的几何与计算设定中探究这些现象。我们采用保角不变扩散映射（CIDM）在扩散坐标中近似类别流形，并发展 Nystr\"{o}m 投影以在该设定中将新点投影至类别流形。在流形近似之上，我们利用谱外微积分（SEC）确定诸如流形切向量等几何量。我们使用这些工具获取位于类别流形上却欺骗分类器的对抗样本。这些误分类随后可通过在流形语义基上表达流形上对抗者，按数据中人类可理解的操控加以解释。
引用
@article{arxiv.2308.12279,
title = {On-Manifold Projected Gradient Descent},
author = {Aaron Mahler and Tyrus Berry and Tom Stephens and Harbir Antil and Michael Merritt and Jeanie Schreiber and Ioannis Kevrekidis},
journal= {arXiv preprint arXiv:2308.12279},
year = {2023}
}