评估 LLM 在预测智能家居系统配置错误修复中的效果
软件工程
2025-02-18 v1 人工智能
摘要
本实证研究评估了大语言模型(LLM)在预测智能家居系统配置错误修复方面的效果。研究分析了三种突出的 LLM - GPT-4、GPT-4o (GPT-4 Turbo) 和 Claude 3.5 Sonnet - 使用 four distinct prompt designs 来 assess their ability to identify appropriate fix strategies and generate correct solutions. 该研究利用来自 Home Assistant Community 的 129 个调试问题的数据集， focus on 21 个随机选取的案例进行深入分析。结果表明，GPT-4 和 Claude 3.5 Sonnet 在提供 bug descriptions and original scripts 时， achieve 80% accuracy in strategy prediction。GPT-4 在不同 prompt types 方面表现一致，而 GPT-4o 在速度和 cost-effectiveness 方面具有优势，尽管准确率略低。研究结果表明，prompt design 对 model performance 具有显著影响， comprehensive prompts containing both description and original script 产生最佳结果。该研究为提高智能家居系统配置中自动化 bug 修复提供了有价值的见解，并展示了 LLM 在解决 configuration-related 挑战方面的潜力。
引用
@article{arxiv.2502.10953,
title = {Empirical evaluation of LLMs in predicting fixes of Configuration bugs in Smart Home System},
author = {Sheikh Moonwara Anjum Monisha and Atul Bharadwaj},
journal= {arXiv preprint arXiv:2502.10953},
year = {2025}
}