通过对抗影响函数解释鲁棒优化
机器学习
2020-10-06 v1 人工智能
机器学习
摘要
鲁棒优化在当今数据科学中已被广泛使用，尤其在对抗训练中。然而，关于量化鲁棒优化相较于标准训练如何改变优化器与预测损失的研究甚少。本文受鲁棒统计中影响函数的启发，引入对抗影响函数 (Adversarial Influence Function, AIF) 作为探究鲁棒优化所得解的工具。所提 AIF 具有闭式解且可高效计算。为说明 AIF 的用途，我们将其应用于研究模型敏感度——该量定义为刻画实施鲁棒优化后自然数据上预测损失的变化。我们利用 AIF 分析模型复杂度和随机平滑如何影响特定模型的模型敏感度。我们进一步推导了核回归的 AIF，并特别应用于神经正切核，且通过实验证明了所提 AIF 的有效性。最后，AIF 的理论将扩展至分布鲁棒优化。
引用
@article{arxiv.2010.01247,
title = {Interpreting Robust Optimization via Adversarial Influence Functions},
author = {Zhun Deng and Cynthia Dwork and Jialiang Wang and Linjun Zhang},
journal= {arXiv preprint arXiv:2010.01247},
year = {2020}
}