人工智能系统验证方法的系统文献综述
软件工程
2021-09-17 v1
摘要
背景：人工智能（AI）已深入日常活动，特别是通过机器学习（ML）等新技术。这些技术只需少量领域知识即可实现。这一点，加上用传统方法测试 AI 系统的困难，使得系统可信性成为紧迫问题。目标：本文研究文献中报道的用于验证实用 AI 系统的方法。我们的目标是分类并描述在真实环境中用于确保 AI 系统可靠性的方法。方法：通过系统文献综述得到 90 篇论文。基于领域、任务、复杂性和所应用的验证方法对论文中呈现的系统进行分析。结果：验证方法被综合为一个包含试验、仿真、以模型为中心的验证和专家意见的分类法。故障监视器、安全通道、冗余、投票以及输入输出限制是在部署后用于持续验证系统的方法。结论：我们的结果厘清了应用于验证的现有策略。它们构成了研究中 AI 系统验证的综合、评估与精炼的基础，以及实践中验证单个系统的指南。尽管各种验证策略都已被相对广泛应用，但仅有少数研究报道了持续验证。关键词：人工智能，机器学习，验证，测试，V&V，系统文献综述。
引用
@article{arxiv.2107.12190,
title = {Systematic Literature Review of Validation Methods for AI Systems},
author = {Lalli Myllyaho and Mikko Raatikainen and Tomi Männistö and Tommi Mikkonen and Jukka K. Nurminen},
journal= {arXiv preprint arXiv:2107.12190},
year = {2021}
}
备注
25 pages, 6 figures, 12 tables. The manuscript has been accepted to the Journal of Systems and Software