面向自动化代码合规性的不同微调策略与模型规模下 LLM 归因分析
计算与语言
2026-04-20 v1 人工智能
机器学习
摘要
现有关于大型语言模型 (LLM) 用于自动化代码合规性的研究主要集中在性能上，将模型视为黑盒，忽略了训练决策如何影响其解释行为。本文通过采用基于扰动的归因分析，比较了 LLM 在不同微调策略（如全量微调 (FFT)、低秩适配 (LoRA) 和量化 LoRA 微调）下的解释行为，以及模型规模（包括不同的 LLM 参数大小）的影响。我们的结果表明，与参数高效微调方法相比，FFT 产生的归因模式在统计上存在差异且更加集中。此外，我们发现随着模型规模的增加，LLM 发展出特定的解释策略，例如优先处理建筑文本中的数值约束和规则标识符，尽管对于大于 7B 的模型，生成规则与参考计算机可处理规则在语义相似度上的性能提升趋于平缓。本文提供了关于这些模型可解释性的重要见解，朝着为建筑、工程和施工行业中基于关键法规的任务构建更透明的 LLM 迈出了一步。
引用
@article{arxiv.2604.15589,
title = {LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance},
author = {Jack Wei Lun Shi and Minghao Dang and Wawan Solihin and Justin K. W. Yeoh},
journal= {arXiv preprint arXiv:2604.15589},
year = {2026}
}
备注
8 pages, 9 figures. Accepted at ICCCBE 2026 (International Conference on Computing in Civil and Building Engineering)