机器学习系统可靠性的整体评估
机器学习
2023-08-01 v2
摘要
随着机器学习（ML）系统日益渗透于医疗、交通、军事和国家安全等高风险场景，人们对其可靠性的担忧随之浮现。尽管取得了显著进展，这些系统的性能仍可能因对抗攻击或环境变化而大幅退化，导致过度自信的预测、无法检测输入故障，以及在意外场景中无法泛化。本文提出了一种针对 ML 系统可靠性的整体评估方法。我们的框架评估五项关键属性：分布内准确率、分布偏移鲁棒性、对抗鲁棒性、校准度以及分布外检测。我们还引入了一个可靠性分数，用于评估系统的整体可靠性。为深入洞察不同算法方法的性能，我们识别并归类了最先进的技术，随后使用所提出的可靠性指标和可靠性分数在真实世界任务上评估了其中一部分。我们对超过 500 个模型的分析表明，针对某一指标的设计未必会限制其他指标，但某些算法技术可同时改善多个指标的可靠性。本研究有助于更全面地理解 ML 可靠性，并为未来的研究与开发提供路线图。
引用
@article{arxiv.2307.10586,
title = {A Holistic Assessment of the Reliability of Machine Learning Systems},
author = {Anthony Corso and David Karamadian and Romeo Valentin and Mary Cooper and Mykel J. Kochenderfer},
journal= {arXiv preprint arXiv:2307.10586},
year = {2023}
}