Do-AIQ：一种用于 AI 误标检测算法质量评估的试验设计方法
机器学习
2022-08-23 v1 机器学习
应用统计
统计方法学
摘要
人工智能（AI）算法的质量对于在网络安全、医疗健康和自动驾驶等各种应用中自信地采用算法具有重要意义。本工作提出一种使用试验设计方法系统评估 AI 算法质量的原理性框架，命名为 Do-AIQ。具体而言，我们聚焦于研究针对数据投毒的 AI 误标数据算法的质量。AI 算法的性能受算法中的超参数和数据质量影响，特别是数据误标、类不平衡和数据类型。为评估 AI 算法的质量并获得对算法质量的可信评估，我们建立试验设计框架以在高维约束空间中构造高效的空间填充设计，并开发使用加性高斯过程的有效代理模型以实现 AI 算法质量的仿真。开展了理论和数值研究以证明所提框架的优点。所提框架可为 AI 算法树立典范，以增强 AI 在鲁棒性、可重复性和透明性方面的保证。
引用
@article{arxiv.2208.09953,
title = {Do-AIQ: A Design-of-Experiment Approach to Quality Evaluation of AI Mislabel Detection Algorithm},
author = {J. Lian and K. Choi and B. Veeramani and A. Hu and L. Freeman and E. Bowen and X. Deng},
journal= {arXiv preprint arXiv:2208.09953},
year = {2022}
}