LeGo-Code：模块化课程学习在复杂代码生成中的应用——基于Text-to-SQL的见解

最近，面向代码的大型语言模型（LLM）在将自然语言翻译为可执行代码方面展现出强大的能力。Text-to-SQL是这一能力的重要应用，使非技术用户能够使用自然语言与关系型数据库交互。然而，当前最先进的模型在处理高度复杂的逻辑方面仍存在挑战，尤其是涉及多个联接和条件的深度嵌套语句，以及与实际数据库模式（噪声或结构不完整）的集成。在本文中，我们研究模块化课程学习是否能提高代码LLM在Text-toSQL任务中的性能。我们采用包括Spider和BIRD在内的基准数据集，在不同的课程策略下进行微调。我们的实验表明，单纯按复杂度对训练样本进行排序的简单课程学习未能超越标准微调，因为会遗忘旧知识。为克服这一问题，我们提出了模块化适配器组合（MAC）策略。通过在易到极难的递增复杂度水平上依次训练特定于层级的适配器，我们构建了一个支架式学习环境，以提高对复杂查询的性能。我们的做法不仅在Spider和BIRD基准上取得可衡量的性能提升，还提供了一种灵活的“积木”式架构，允许根据特定模式难度要求对模型进行组合和部署。这些发现表明，结构化、模块化的学习是掌握复杂代码生成语法和逻辑的优越替代方案。