DRAFT：用于构建建筑设计决策的大语言模型方法
软件工程
2025-04-14 v1 人工智能
机器学习
摘要
建筑知识管理（AKM）对于软件开发至关重要，但由于缺乏标准化和高额手动工作量，仍面临挑战。建筑决策记录（ADRs）提供了捕捉建筑设计决策（ADDs）的结构化方法，但由于涉及的手动工作量和不足的工具支持，其采纳率有限。我们之前的工作表明，大语言模型（LLM）可以辅助生成ADDs。然而，仅通过提示LLM并不能产生高质量的ADDs。此外，使用第三方LLM会引发隐私问题，而自托管则面临资源挑战。为此，我们实验了不同方法，如零样本学习、检索增强生成（RAG）和微调，以提升LLM生成ADDs的能力。我们的结果表明，这些技术都能提高有效性。基于此，我们提出了Domain Specific Retreival Augumented Few Shot Fine Tuninng，即DRAFT，综合了这三种方法的优势，以更有效地生成ADDs。DRAFT在两个阶段运行：离线阶段对生成ADDs的LLM进行微调，辅以检索到的示例；在线阶段通过检索到的ADRs和微调模型生成ADDs。我们在4911篇ADR的数据集上对DRAFT进行了评估，并对各种LLM进行了分析，采用自动指标和人类评估。结果表明，DRAFT在有效性上优于所有其他方法，同时保持了效率。我们的发现表明，DRAFT可以在构建ADDs时辅助建筑师，同时解决隐私和资源限制问题。
引用
@article{arxiv.2504.08207,
title = {DRAFT-ing Architectural Design Decisions using LLMs},
author = {Rudra Dhar and Adyansh Kakran and Amey Karan and Karthik Vaidhyanathan and Vasudeva Varma},
journal= {arXiv preprint arXiv:2504.08207},
year = {2025}
}