开放世界机器学习的批判性评估
机器学习
2020-07-10 v1 密码学与安全
摘要
开放世界机器学习 (ML) 将基于分布内数据训练的闭世界模型与旨在检测并拒绝分布外 (OOD) 输入的 OOD 检测器相结合。以往关于开放世界 ML 系统的研究通常未能在多样且可能存在对抗的条件下测试其可靠性。因此,在本文中,我们试图了解最先进的开放世界 ML 系统对系统组件变化的适应能力有多强?通过我们对 6 种 OOD 检测器的评估,我们发现分布内数据、模型架构和 OOD 数据的选择对 OOD 检测性能有强烈影响,导致假阳性率超过 。我们进一步表明,具有 22 种无意损坏或对抗扰动的 OOD 输入会使开放世界 ML 系统无法使用,假阳性率高达 。为了提高开放世界 ML 的适应能力,我们将鲁棒分类器与 OOD 检测技术相结合,并揭示了 OOD 检测与鲁棒性之间的新权衡。
引用
@article{arxiv.2007.04391,
title = {A Critical Evaluation of Open-World Machine Learning},
author = {Liwei Song and Vikash Sehwag and Arjun Nitin Bhagoji and Prateek Mittal},
journal= {arXiv preprint arXiv:2007.04391},
year = {2020}
}
备注
Presented at the ICML 2020 Workshop on Uncertainty and Robustness in Deep Learning