QuantifyML:我的机器学习模型有多好?
机器学习
2021-10-26 v1 人工智能
软件工程
摘要
机器学习模型的有效性通常通过其在测试数据集上计算准确率来确定。然而,这常常具有误导性,因为测试数据可能不能代表所研究的问题。借助QuantifyML,我们旨在精确量化机器学习模型从给定数据中学习与泛化的程度。给定一个训练好的模型,QuantifyML将其翻译为C程序并送入CBMC模型检查器,以产生合取范式(CNF)下的公式。该公式利用现成的模型计数器进行分析,以获得关于不同模型行为的精确计数。QuantifyML支持:i)通过将输出计数与表示为逻辑谓词的真实值进行比较来评估可学习性,ii)比较用不同机器学习算法(决策树 vs. 神经网络)构建的模型的性能,以及iii)量化模型的安全性与鲁棒性。
引用
@article{arxiv.2110.12588,
title = {QuantifyML: How Good is my Machine Learning Model?},
author = {Muhammad Usman and Divya Gopinath and Corina S. Păsăreanu},
journal= {arXiv preprint arXiv:2110.12588},
year = {2021}
}
备注
In Proceedings FMAS 2021, arXiv:2110.11527