面向受监管行业的工业 LLM 代码优化：混合专家方法
软件工程
2025-08-07 v2 人工智能
摘要
近期大型语言模型 (LLM) 在代码优化方面的进展使工业平台能够以前所未有的规模和速度自动化软件性能工程。然而，受监管行业的组织面临严格限制，许多组织无法使用商业模型 due to 数据隐私法规和合规要求，这在保持成本效益的同时实现高质量代码优化方面构成了重大挑战。我们通过实施混合专家 (MoA) 方法，直接从多个专门化 LLM 合成代码，进行与 TurinTech AI 基于真实工业代码库的 vanilla 遗传算法 (GA) 基于ensemble 系统和单个 LLM 优化器的比较。我们的主要贡献包括：(1) 将 MoA 应用于工业代码优化并使用真实世界的代码库；(2) 实证表明 MoA 在开源模型方面表现出色，实现了 14.3% 到 22.2% 的成本节省和 28.6% 到 32.2% 的更快优化时间，适用于受监管环境；(3) 部署指南显示 GA 在商业模型中具有优势，而两种 ensemble 方法均优于单个 LLM；(4) 在 50 个代码片段和七种 LLM 组合的真实世界验证中，生成了超过 8,700 个变体，解决了工业 LLM ensemble 评估中的空白。为在生产环境中在监管合规与优化性能之间取得平衡提供了可操作的指导。
引用
@article{arxiv.2508.03329,
title = {Industrial LLM-based Code Optimization under Regulation: A Mixture-of-Agents Approach},
author = {Mari Ashiga and Vardan Voskanyan and Fateme Dinmohammadi and Jingzhi Gong and Paul Brookes and Matthew Truscott and Rafail Giavrimis and Mike Basios and Leslie Kanthan and Wei Jie},
journal= {arXiv preprint arXiv:2508.03329},
year = {2025}
}
备注
Submitted to ASE'25 Industry Showcase