工程化 AI 判官系统
软件工程
2024-11-28 v1 人工智能
摘要
AI 判官系统旨在自动评估由 Foundation Model 提供支持的软件（即 FMware）。由于 FMware 的内在动态和随机特性，AI 判官系统的开发需要独特的工程生命周期，并面临新挑战。本文基于我们在为 FMware 开发 AI 判官系统方面的工业经验，讨论了这些挑战。这些挑战导致大量时间消耗、高成本和错误判断。我们提出了一个框架，通过提高开发高质量 AI 判官系统的生产力来解决这些挑战。最后，我们通过对一个提交信息生成 FMware 判官系统的案例研究来评估我们的框架。运用我们框架开发的 AI 判官系统所做出的判断准确率，较那些在没有我们框架的情况下开发的 AI 判官系统提升最高可达 6.2%，开发 effort 显著减少。
引用
@article{arxiv.2411.17793,
title = {Engineering AI Judge Systems},
author = {Jiahuei Lin and Dayi Lin and Sky Zhang and Ahmed E. Hassan},
journal= {arXiv preprint arXiv:2411.17793},
year = {2024}
}