当 ChatGPT 遇上智能合约漏洞检测：我们距离目标还有多远？
软件工程
2025-07-14 v4
摘要
随着区块链技术的发展，智能合约已成为区块链应用的重要组成部分。尽管其作用关键，智能合约的开发可能引入漏洞并可能导致严重后果，例如财务损失。与此同时，以 ChatGPT 为代表的大语言模型备受关注，在代码分析任务中展现出强大能力。在本文中，我们开展了一项实证研究，以考察 ChatGPT 在识别智能合约漏洞方面的表现。最初，我们使用一个公开可用的智能合约数据集评估了 ChatGPT 的有效性。我们的研究发现，尽管 ChatGPT 取得了较高的召回率，但其在精确定位智能合约漏洞方面的精确率有限。此外，ChatGPT 在检测不同漏洞类型时的表现存在差异。我们深入探究了 ChatGPT 产生误报的根本原因，并将其分为四类。其次，通过将 ChatGPT 与其他最先进的智能合约漏洞检测工具进行比较，我们发现对于 7 种漏洞中的 3 种，ChatGPT 的 F 值低于其他工具。对于其余 4 种漏洞，ChatGPT 相较这些工具有轻微优势。最后，我们分析了 ChatGPT 在智能合约漏洞检测中的局限性，揭示出 ChatGPT 在该领域的鲁棒性需从两方面改进：其回答的不确定性；以及所检测代码的长度限制。总体而言，我们的研究为采用大语言模型（特别是 ChatGPT）进行智能合约漏洞检测的优势与不足提供了见解。
引用
@article{arxiv.2309.05520,
title = {When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We?},
author = {Chong Chen and Jianzhong Su and Jiachi Chen and Yanlin Wang and Tingting Bi and Jianxing Yu and Yanli Wang and Xingwei Lin and Ting Chen and Zibin Zheng},
journal= {arXiv preprint arXiv:2309.05520},
year = {2025}
}