PDC 与 DM-SFT：提升大语言模型 SQL 错误修复能力的路径
计算与语言
2024-11-12 v1 人工智能
机器学习
摘要
代码大语言模型（Code LLM）如 Code llama 和 DeepSeek-Coder 在代码生成任务中展现出卓越的性能。然而，大多数现有模型聚焦于生成正确代码的能力，却在错误修复方面常常走弯路。我们提出一套方法来提升 LLM 的 SQL 错误修复能力。该方法主要包括两个部分：从零开始的渐进式数据集构建（PDC）和动态掩码监督微调（DM-SFT）。PDC 从广度优先和深度优先两个角度提出两种数据扩充方法。DM-SFT 引入一种高效的 SQL 错误修复监督学习方法，显著减少训练步数，缓解 SQL 代码错误修复训练中的“迷失”问题。在评估中，使用这两种方法训练的代码 LLM 模型已超越当前所有规模更大的顶尖模型。
引用
@article{arxiv.2411.06767,
title = {PDC & DM-SFT: A Road for LLM SQL Bug-Fix Enhancing},
author = {Yiwen Duan and Yonghong Yu and Xiaoming Zhao and Yichang Wu and Wenbo Liu},
journal= {arXiv preprint arXiv:2411.06767},
year = {2024}
}
备注
COLING-Industry 2025 accepted