优化方法对分布外检测方法的鲁棒性影响
机器学习
2020-06-26 v1 机器学习
摘要
深度神经网络（DNN）已成为不同领域事实上的学习机制。其在分布外（OOD）输入上不可靠的倾向阻碍了在关键领域的采用。已有若干检测 OOD 输入的方法被提出。然而，现有方法仍缺乏鲁棒性。本文通过揭示优化方法的重要作用，阐明了 OOD 检测（OODD）方法的鲁棒性。我们表明 OODD 方法对训练深度模型时所用的优化方法类型敏感。优化方法可为非凸问题提供不同解，这些解可能满足或不满足 OODD 方法所作的假设（如深度特征分布）。此外，我们提出一种考虑优化方法作用的鲁棒性分数，为比较 OODD 方法提供合理途径。除利用所提鲁棒性分数比较若干 OODD 方法外，我们展示了某些优化方法为 OODD 方法提供了更优解。
引用
@article{arxiv.2006.14584,
title = {The Effect of Optimization Methods on the Robustness of Out-of-Distribution Detection Approaches},
author = {Vahdat Abdelzad and Krzysztof Czarnecki and Rick Salay},
journal= {arXiv preprint arXiv:2006.14584},
year = {2020}
}
备注
13 pages, 4 figures, 15 tables