基于动态内部表示选择的 LLM 生成代码模型无关性正确性评估
软件工程
2025-10-06 v1
摘要
大型语言模型（LLM）在代码生成方面展现出惊人的能力，日益集成到软件开发流程中。然而，确保 LLM 生成代码的正确性仍是关键关切。先前研究表明，LLM 的内部表示对评估代码正确性编码了有意义的信号。然而，现有方法依赖于来自预选/固定层和标记位置的表示，这可能限制其在不同模型架构和任务上的通用性。在本工作中，我们引入了 AUTOPROBE，这是一种新型模型无关的方法，通过动态选择最具信息量的内部表示来进行代码正确性评估。AUTOPROBE 采用注意力机制学习隐藏状态的重要性得分，使其能够聚焦于最相关的特征。这些加权表示随后被聚合并输入到探测分类器中，用于预测代码在可编译性、功能性和安全性等多个维度上的正确性。为评估 AUTOPROBE 的性能，我们在多个基准和代码 LLM 上进行了广泛实验。我们的实验结果表明，AUTOPROBE 在基准测试中持续优于现有方法。在安全性评估方面，AUTOPROBE 比最新的白盒方法高出 18%。在可编译性和功能性评估方面，AUTOPROBE 在代码复杂性方面表现出最高的鲁棒性，性能比其他方法高出最高可达 19% 和 111%。这些发现表明，动态选择重要内部信号使 AUTOPROBE 成为评估各种 LLM 生成代码正确性的稳健且通用的解决方案。
引用
@article{arxiv.2510.02934,
title = {Model-Agnostic Correctness Assessment for LLM-Generated Code via Dynamic Internal Representation Selection},
author = {Thanh Trong Vu and Tuan-Dung Bui and Thu-Trang Nguyen and Son Nguyen and Hieu Dinh Vo},
journal= {arXiv preprint arXiv:2510.02934},
year = {2025}
}