面向轻量级自动程序修复的推理蒸馏

我们研究了轻量级符号推理监督是否能改进紧凑型自动程序修复模型中的修复类型分类。小型代码模型在资源受限的环境中很有吸引力，但它们通常只产生单一预测，因此尚不清楚它们是否学习了有意义的程序结构还是依赖于浅层相关性。我们提出了一种推理蒸馏方法，其中大型教师模型在修复类型标签之外提供结构化符号推理标签。这些标签在不依赖自由形式解释的情况下捕获了错误的高层因果属性。我们在 IntroClass 基准上分别在仅标签和推理蒸馏设置下训练基于 CodeT5 的学生模型。推理监督持续提升了宏平均性能，特别是在低频错误类别上，且未增加模型大小或复杂度。我们进一步分析了推理准确率与修复类型预测之间的关系，表明正确的推理轨迹与正确的预测强相关，但并非完全决定它们。我们的结果表明，符号推理蒸馏是提高轻量级程序修复模型可解释性和鲁棒性的实用方法。