保持距离：机器学习监控中采样与距离阈值的确定
机器学习
2022-07-13 v1 人工智能
摘要
近年来，机器学习（ML）在不同应用与领域中取得了令人鼓舞的成果。然而，在许多情况下，需要确保可靠性甚至安全性等品质。为此，一个重要方面是判断 ML 组件是否部署在其适用范围内合适的情境中。对于环境开放且多变、例如自动驾驶车辆中的组件，监控其运行情境以确定其与 ML 组件训练范围的距离便十分重要。若该距离被认为过大，应用可选择将 ML 组件的输出视为不可靠并切换至替代方案，例如改用人工操作员输入。SafeML 是一种用于此类监控的模型无关方法，基于训练与运行数据集的统计检验使用距离度量。在正确配置 SafeML 方面的局限包括：缺乏系统性的方法，以针对给定应用确定需要多少运行样本才能产生可靠的距离信息，以及确定合适的距离阈值。本工作中，我们提供了一种实用方法来解决这些局限，并在一个知名的交通标志识别问题以及使用 CARLA 开源自动驾驶仿真器的示例中展示了其应用。
引用
@article{arxiv.2207.05078,
title = {Keep your Distance: Determining Sampling and Distance Thresholds in Machine Learning Monitoring},
author = {Al-Harith Farhad and Ioannis Sorokos and Andreas Schmidt and Mohammed Naveed Akram and Koorosh Aslansefat and Daniel Schneider},
journal= {arXiv preprint arXiv:2207.05078},
year = {2022}
}