安全关键机器学习应用中指定训练数据与运行时监视器所面临挑战的调查研究
软件工程
2023-02-01 v1 机器学习
摘要
背景与动机：包含机器学习（ML）模型的关键型软件的开发与运行需要严谨的态度和成熟的流程。尤其是ML模型开发过程中使用的训练数据，对系统后续行为有重大影响。运行时监视器用于为这些行为提供保证。问题：我们在如何为关键ML模型指定训练数据与运行时监视，并由此指定系统最终功能方面，看到了重大的不确定性。在这项基于访谈的研究中，我们调查了造成这些困难的潜在挑战。主要思路/结果：基于对在汽车与电信领域开发关键应用的ML模型从业者的十次访谈，我们识别出了与指定训练数据和运行时监视这一挑战相关的6个挑战组中的17个潜在挑战。贡献：本文提供了与从业者在为ML模型指定训练数据和运行时监视时所经历的困难相关的已识别潜在挑战列表。此外，发现了挑战之间的相互关联，并基于这些关联提出了克服挑战根本原因的建议。
引用
@article{arxiv.2301.13476,
title = {An investigation of challenges encountered when specifying training data and runtime monitors for safety critical ML applications},
author = {Hans-Martin Heyn and Eric Knauss and Iswarya Malleswaran and Shruthi Dinakaran},
journal= {arXiv preprint arXiv:2301.13476},
year = {2023}
}