面向边缘无人机控制代码生成的思维链引导混合蒸馏
人工智能
2026-01-14 v1
摘要
随着大语言模型在代码生成任务中展现出巨大潜力，其在资源受限的无人机（UAV）机载控制中的应用已成为一个重要的研究方向。然而，大模型的高资源消耗与无人机平台的实时、轻量化要求之间存在显著矛盾。本文提出了一种集成方法，将知识蒸馏、思维链引导和监督微调相结合用于无人机多 SDK 控制任务，旨在将复杂推理和代码生成能力高效地迁移到更小的模型中。首先，构建了一个涵盖各种主流无人机 SDK 的高质量数据集，具有指令-代码-推理链，并引入反事实负样本进行数据增强，引导模型学习从指令解析到代码生成的端到端逻辑。其次，利用通过 QLoRA 量化的 DeepSeek-Coder-V2-Lite 作为教师模型，并基于混合黑盒与白盒蒸馏策略，生成高质量思维链软标签。将这些软标签与使用硬标签的加权交叉熵损失相结合，将复杂推理能力迁移到更小的学生模型中。最后，通过针对无人机控制场景优化的提示微调工程，增强了模型在 SDK 类型识别和函数调用匹配等核心任务上的性能。实验结果表明，蒸馏后的轻量化模型在保持高代码生成准确率的同时，在部署和推理效率上取得了显著提升，有效证明了我们的方法在实现无人机精确轻量化智能控制方面的可行性与优越性。
引用
@article{arxiv.2601.08412,
title = {Hybrid Distillation with CoT Guidance for Edge-Drone Control Code Generation},
author = {Yizhan Feng and Hichem Snoussi and Yuhang Wang and Jing Teng and Abel Cherouat and Tian Wang},
journal= {arXiv preprint arXiv:2601.08412},
year = {2026}
}
备注
2nd International Conference on Drones and Unmanned Systems (DAUS' 2026)