基于最优传输的模型分布鲁棒性
机器学习
2023-11-02 v2 计算几何
摘要
分布鲁棒性是一种很有前景的框架，用于训练对对抗样本和数据分布偏移不那么脆弱的深度学习模型。以往的工作主要集中于在数据空间中利用分布鲁棒性。在本工作中，我们探索了模型空间中基于最优传输的分布鲁棒性框架。具体而言，我们考察以给定模型分布为中心、在一个 Wasserstein 球内的模型分布，并最大化损失。我们发展了相关理论，使我们能够学习最优鲁棒中心模型分布。有趣的是，通过考虑中心模型分布的特定形式（包括单个模型上的 Dirac delta 分布、多个模型上的均匀分布以及一般的贝叶斯神经网络），我们所发展的理论允许我们灵活地将锐度感知（sharpness awareness）的概念融入训练中，无论其是单个模型、集成模型还是贝叶斯神经网络。此外，我们证明了当使用单个模型上的 Dirac delta 分布时，锐度感知最小化（Sharpness-Aware Minimization, SAM）是我们框架的一个特例，而我们的框架可视为 SAM 的概率扩展。为了验证我们的框架在上述设置中的有效性，我们进行了大量实验，结果表明与基线相比有显著提升。
引用
@article{arxiv.2306.04178,
title = {Optimal Transport Model Distributional Robustness},
author = {Van-Anh Nguyen and Trung Le and Anh Tuan Bui and Thanh-Toan Do and Dinh Phung},
journal= {arXiv preprint arXiv:2306.04178},
year = {2023}
}
备注
Accepted at NeurIPs 2023