潜变量模型的对抗鲁棒性：重访鲁棒-标准精度权衡
机器学习
2022-04-04 v2 统计理论
机器学习
统计理论
摘要
过去几年中，提出了若干对抗训练方法以提升机器学习模型抵御输入中对抗扰动的鲁棒性。尽管在这方面取得了显著进展，常观察到对抗训练会降低标准测试精度。这一现象引发了研究界对标准精度（又称泛化）与鲁棒精度（又称鲁棒泛化）作为两种性能度量之间潜在权衡的探究。本文中，我们重访潜变量模型的这一权衡，并论证当数据具有低维结构时该权衡得以缓解。具体而言，我们考虑两种数据生成模型下的二分类，即高斯混合模型与广义线性模型，其中特征数据位于低维流形上。我们建立理论表明，低维流形结构使得能够获得就标准精度与鲁棒精度度量而言均近乎最优的模型。我们进一步用若干数值实验佐证理论，包括在 MNIST 数据集上训练的因子分析器混合（MFA）模型。
引用
@article{arxiv.2110.11950,
title = {Adversarial robustness for latent models: Revisiting the robust-standard accuracies tradeoff},
author = {Adel Javanmard and Mohammad Mehrabi},
journal= {arXiv preprint arXiv:2110.11950},
year = {2022}
}
备注
30 pages, 7 figures