AI/ML 模型性能与鲁棒性评估原则
机器学习
2021-07-08 v1 机器学习
摘要
美国国防部（DoD）已大幅增加了对人工智能与机器学习（AI/ML）能力设计、评估和部署的投资，以满足国家安全需求。尽管学术界和商业领域有许多 AI/ML 成功案例，但其中许多系统也被证明是脆弱且非鲁棒的。在复杂且不断变化的国家安全环境中，DoD 必须在将这些新能力部署到实地之前，建立合理且系统化的流程来评估 AI/ML 模型的性能与鲁棒性。本文回顾了 AI/ML 开发流程，强调了 AI/ML 模型评估的通用最佳实践，并向 DoD 评估人员提出建议，以确保部署满足国家安全需求的鲁棒 AI/ML 能力。
引用
@article{arxiv.2107.02868,
title = {Principles for Evaluation of AI/ML Model Performance and Robustness},
author = {Olivia Brown and Andrew Curtis and Justin Goodwin},
journal= {arXiv preprint arXiv:2107.02868},
year = {2021}
}