大语言模型能生成架构设计决策吗？——一项探索性实证研究

架构知识管理 (AKM) 涉及对项目或组织内与架构决策和设计相关的信息进行有序处理。AKM 的一个重要产物是架构决策记录 (ADR)，它记录了关键的设计决策。ADR 是捕捉决策背景、所做决策以及与设计决策相关的各个方面的文档，从而促进透明度、协作和理解。尽管 ADR 具有诸多益处，但由于时间限制和采用不一致等挑战，其在软件开发中的采用一直缓慢。大语言模型 (LLM) 的最新进展可能通过促进 ADR 生成来帮助弥合这一采用差距。然而，LLM 在 ADR 生成或理解方面的有效性尚未得到探索。为此，在这项工作中，我们进行了一项探索性研究，旨在调查在给定决策背景下使用 LLM 生成 ADR 的可行性。在我们的探索性研究中，我们利用基于 GPT 和 T5 的模型，采用 0-shot、few-shot 和微调方法来生成给定上下文的 ADR 决策。我们的结果表明，在 0-shot 设置下，GPT-4 等最先进模型能够生成相关且准确的设计决策，尽管它们尚未达到人类水平的性能。此外，我们观察到，更具成本效益的模型（如 GPT-3.5）在 few-shot 设置下可以实现类似的结果，而较小的模型（如 Flan-T5）在微调后也能产生可比的结果。总之，这项探索性研究表明 LLM 可以生成设计决策，但要达到人类水平的生成能力并建立标准化的广泛采用，还需要进一步的研究。