我们能否仅从数据实现鲁棒性？
机器学习
2023-02-01 v2 计算机视觉与模式识别
摘要
我们提出了一种用于对抗鲁棒分类的元学习算法。所提方法力求尽可能与模型无关，并在机器学习系统部署前优化数据集，旨在有效消除其中的非鲁棒特征。一旦数据集构建完成，原则上无需专门算法（除标准梯度下降外）即可训练鲁棒模型。我们将数据优化过程表述为核回归上的双层优化问题，所用核类描述了无限宽神经网络（神经正切核，Neural Tangent Kernels）。我们在标准计算机视觉基准上使用多种不同模型进行了大量实验，证明了方法的有效性，同时也指出了其当前不足。与此同时，我们重新审视了同样关注鲁棒分类数据优化问题的先前工作 \citep{Ily+19}，并表明在合适数据集上经标准（梯度下降）训练后对对抗攻击具有鲁棒性，比此前认为的更具挑战性。
引用
@article{arxiv.2207.11727,
title = {Can we achieve robustness from data alone?},
author = {Nikolaos Tsilivis and Jingtong Su and Julia Kempe},
journal= {arXiv preprint arXiv:2207.11727},
year = {2023}
}