MOS：通过对大语言模型进行混合专家微调实现有效的智能合约漏洞检测
软件工程
2025-04-17 v1
摘要
智能合约漏洞对区块链系统构成重大安全风险，可能导致严重的经济损失。现有方法面临若干局限性：（1）基于程序分析的方法依赖预定义模式，缺乏对新漏洞类型的灵活性；（2）基于深度学习的方法缺乏可解释性；（3）基于大语言模型的方法存在高误报率。我们提出了 MOS，一个基于大语言模型混合专家微调（MOE-Tuning）的智能合约漏洞检测框架。首先，我们在大规模智能合约数据集上进行持续预训练，以提供领域增强的初始化。其次，我们通过结合 LLM 生成与专家验证的多阶段流程，构建了高质量的 MOE-Tuning 数据集，以提供可靠的解释。第三，我们设计了一种漏洞感知路由机制，通过分析代码特征及其与专家的匹配度来激活最相关的专家网络。最后，我们将前馈层扩展为多个并行的专家网络，每个网络专注于特定的漏洞模式。我们采用双目标损失函数：一个用于优化检测和解释性能，另一个通过熵计算确保漏洞类型在专家间的合理分布。实验表明，MOS 显著优于现有方法，其 F1 分数和准确率的平均提升分别为 6.32% 和 4.80%。通过人工和 LLM 评估，漏洞解释在正确性、完整性和简洁性方面获得了积极的评分（在 4 分制中得分为 3-4 分），分别达到 82.96%、85.21% 和 94.58%。
引用
@article{arxiv.2504.12234,
title = {MOS: Towards Effective Smart Contract Vulnerability Detection through Mixture-of-Experts Tuning of Large Language Models},
author = {Hang Yuan and Lei Yu and Zhirong Huang and Jingyuan Zhang and Junyi Lu and Shiqi Cheng and Li Yang and Fengjun Zhang and Jiajia Ma and Chun Zuo},
journal= {arXiv preprint arXiv:2504.12234},
year = {2025}
}