面向鲁棒学习的插值：Wasserstein 测地线上的数据增强
机器学习
2023-08-29 v3 机器学习
摘要
我们提议通过训练数据分布的插值来研究和提升模型的鲁棒性。具体来说，(1) 我们通过在连接不同类别子群体分布的测地线上寻找最差情况的 Wasserstein 重心来增强数据。(2) 我们正则化模型，使其在连接子群体分布的连续测地线路径上具有更平滑的性能。(3) 此外，我们提供了鲁棒性提升的理论保证，并分别研究了测地线位置和样本量的贡献。在包括 CIFAR-100 和 ImageNet 在内的四个数据集上对所提策略的实验验证，证实了我们方法的有效性，例如，我们的方法将基线在 CIFAR10 上的可认证鲁棒性提高了 7.7%，在 CIFAR-100 上的经验鲁棒性提高了 16.8%。我们的工作通过 Wasserstein 测地线插值的视角，为模型鲁棒性提供了一个新的视角，并给出了一种可与现有鲁棒训练方法结合的实用现成策略。
引用
@article{arxiv.2302.02092,
title = {Interpolation for Robust Learning: Data Augmentation on Wasserstein Geodesics},
author = {Jiacheng Zhu and Jielin Qiu and Aritra Guha and Zhuolin Yang and Xuanlong Nguyen and Bo Li and Ding Zhao},
journal= {arXiv preprint arXiv:2302.02092},
year = {2023}
}
备注
34 pages, 3 figures, 18 tables