Monitizer：自动化神经网络监控器的设计与评估
机器学习
2024-05-20 v1 人工智能
软件工程
摘要
神经网络（NNs）在以前未遇到的数据类型（超出分布或OOD）上的行为通常是不可预测的。如果网络的输出用于安全关键系统中的决策，这会导致风险。因此，检测输入是否为OOD对于神经网络的安全应用至关重要。虽然验证方法在实际神经网络上难以扩展，使运行时监控更具吸引力。虽然最近提出了各种监控器，但针对特定问题优化监控器的超参数、与其他方法进行比较以及结果可重复性仍然具有挑战性。我们提供了一个面向神经网络监控器用户和开发者的工具。它允许（i）将文献中各种类型的监控器应用于给定的神经网络，（ii）优化监控器的超参数，（iii）对其他方法进行实验性评估和比较。此外，它促进了新监控方法的开发。我们在不同类型用户的多个用例以及针对最新文献中不同方法的案例研究中展示了该工具的可用性。
引用
@article{arxiv.2405.10350,
title = {Monitizer: Automating Design and Evaluation of Neural Network Monitors},
author = {Muqsit Azeem and Marta Grobelna and Sudeep Kanav and Jan Kretinsky and Stefanie Mohr and Sabine Rieder},
journal= {arXiv preprint arXiv:2405.10350},
year = {2024}
}
备注
accepted at CAV 2024