第三届国际神经网络验证竞赛 (VNN-COMP 2022)：总结与结果
机器学习
2023-02-17 v2 人工智能
软件工程
摘要
本报告总结了作为第五届机器学习使能自主系统形式化方法研讨会 (FoMLAS) 的一部分而举办的第三届国际神经网络验证竞赛 (VNN-COMP 2022)，该研讨会与第 34 届国际计算机辅助验证会议 (CAV) 联合举办。VNN-COMP 每年举办一次，旨在促进对最先进的神经网络验证工具进行公平客观的比较，鼓励工具接口的标准化，并汇聚神经网络验证社区。为此，定义了网络 (ONNX) 和规范 (VNN-LIB) 的标准化格式，在等成本硬件上（使用基于 AWS 实例的自动评估流水线）评估工具，并由参与者在最终测试集公开之前选择工具参数。在 2022 年的迭代中，有 11 个团队参与了 12 个多样化的评分基准测试。本报告总结了本次竞赛迭代的规则、基准、参与工具、结果以及经验教训。
引用
@article{arxiv.2212.10376,
title = {The Third International Verification of Neural Networks Competition (VNN-COMP 2022): Summary and Results},
author = {Mark Niklas Müller and Christopher Brix and Stanley Bak and Changliu Liu and Taylor T. Johnson},
journal= {arXiv preprint arXiv:2212.10376},
year = {2023}
}
备注
Corrected a small error in instance-wise results; 54 pages, 27 tables, and 16 figures