基于思维链的 ChatGPT 智能合约审计能力评估

智能合约作为区块链技术的关键组成部分，在确保交易自动化和遵守协议规则方面发挥着至关重要的作用。然而，智能合约易受安全漏洞的影响，若被利用可能导致重大资产损失。本研究探讨了利用 GPT-4 模型增强智能合约安全审计的潜力。我们使用了来自 SolidiFI-benchmark 漏洞库的 35 个智能合约数据集，其中包含 732 个漏洞，并将其与其他五种漏洞检测工具进行比较，以评估 GPT-4 识别七种常见漏洞类型的能力。此外，我们通过模拟专业审计师的审计过程，基于八组智能合约的审计报告使用 CoT (Chain of Thought) 提示，评估了 GPT-4 在代码解析和漏洞捕获方面的表现。我们还评估了 GPT-4 编写 Solidity 概念验证 (PoCs) 的能力。通过实验，我们发现 GPT-4 在检测智能合约漏洞方面表现不佳，精确率高达 96.6%，但召回率仅为 37.8%，F1 分数为 41.1%，表明其在检测过程中倾向于遗漏漏洞。同时，它展示了良好的合约代码解析能力，平均综合得分为 6.5，能够识别智能合约的背景信息和功能关系；在 60% 的情况下，它能编写可用的 PoC，表明 GPT-4 在 PoC 编写方面具有显著的应用潜力。这些实验结果表明，GPT-4 缺乏有效检测智能合约漏洞的能力，但其在合约代码解析和 PoC 编写方面的表现证明了其作为辅助工具在提高智能合约安全审计效率和效果方面的巨大潜力。