面向LLM辅助软件设计的质量驱动智能体推理:问题思考链作为时间序列自QA链
软件工程
2026-03-13 v1 人工智能
摘要
最近的大语言模型 (LLM) 进展加速了 AI 辅助软件开发,但实际部署仍受限于实现不完整、模块化不足和安全实践不一致等问题。我们提出问题思考链 (QoT),一种质量驱动的推理时间支架,将用户目标转化为 (i) 工程步骤的有序序列和 (ii) 逐步自我提问以验证约束并减少遗漏错误,同时保持轻量级推理记录以稳定后续设计决策。我们在三个代表性后端工程领域评估 QoT:API 设计、数据通信和文件系统。每个任务都需要多模块分解,并暴露 LLM 生成系统的标准故障模式。为实现数据驱动比较,我们使用以 ISO/IEC 为灵感的质量评分标准对生成制品进行评分,衡量可扩展性、完整性、模块化和安全性。我们报告了各领域的质量得分提升,定义为 QoT 得分减去 NoQoT 得分。结果表明,质量提升随模型规模呈现依赖性:QoT 对更大模型和更复杂的领域可实现持续的质量提升,而在紧张的上下文和规划预算下,较小的模型可能在权衡之间。我们发布了一个开放制品,包含提示、评分准则、原始生成内容以及可复现报告表格和图表的脚本,以支持应用 AI 和数据分析研究。
关键词
引用
@article{arxiv.2603.11082,
title = {Quality-Driven Agentic Reasoning for LLM-Assisted Software Design: Questions-of-Thoughts (QoT) as a Time-Series Self-QA Chain},
author = {Yen-Ku Liu and Yun-Cheng Tsai},
journal= {arXiv preprint arXiv:2603.11082},
year = {2026}
}