环境配置对 AI 启用系统稳定性的影响
软件工程
2025-04-18 v2 人工智能
机器学习
摘要
如今，软件系统倾向于包含人工智能（AI）组件。环境中的变化已知会导致 AI 启用软件系统的稳定性下降，从而引起意外的行为变化。然而，环境配置如何影响此类系统的行为尚未得到探索。理解并量化不同环境设置导致的稳定性程度有助于实践者决定最佳环境配置，以实现最稳定的 AI 系统。为此目标，我们在 Travis CI 平台上对 30 个开源 AI 启用系统进行实验，使用八种不同三键环境变量（操作系统、Python 版本和 CPU 架构）的组合。我们通过三个指标确定是否存在以及由每个配置引入的稳定性程度：AI 组件的输出（模型性能）、构建和运行系统所需时间（处理时间）以及构建和运行系统的成本（费用）。我们的结果表明，环境配置的变化会导致所有三个指标上的稳定性下降；然而，处理时间和费用方面的不稳定性观察得更为频繁，而不仅仅是模型性能。例如，在 Linux 和 MacOS 之间，分别在模型性能、处理时间和费用方面，稳定性在 23%、96.67% 和 100% 的研究项目中观察到。我们的发现凸显了识别最佳配置组合的重要性，以在部署 AI 启用系统前减缓模型性能下降，并减少处理时间和费用的关键性。
引用
@article{arxiv.2408.02825,
title = {The Impact of Environment Configurations on the Stability of AI-Enabled Systems},
author = {Musfiqur Rahman and SayedHassan Khatoonabadi and Ahmad Abdellatif and Haya Samaana and Emad Shihab},
journal= {arXiv preprint arXiv:2408.02825},
year = {2025}
}
备注
Accepted for publication at the International Conference on Evaluation and Assessment in Software Engineering (EASE 2025)