NanoFlux：针对多域推理的对抗性双LLM评估与蒸馏
机器学习
2026-03-18 v3
摘要
我们提出NanoFlux，一个用于生成针对性训练数据的对抗框架，以提高LLM推理能力，其中生成的对抗数据集（包含不足200个示例）优于常规微调方法。在该框架中，模型交替充当攻击者和防御者，由工具增强的裁判员监督，合成具备解释性注释的多步骤问题，以针对特定推理能力。对4B参数模型进行NanoFlux生成数据的微调，在数学推理（GSMHard）上提升5.9%，科学推理（GenomeBench）上提升3.6%，医学推理（MultiMedQA）上提升16.6%，同时将计算需求降低3-14倍。消融研究揭示数据特征与模型性能之间存在非单调关系，发现问题复杂度和推理质量在特定领域的最优点。NanoFlux通过基于嵌入的新颖性过滤、工具增强评估和多跳推理自动化训练数据生成，表明未来的模型改进可能在于对小规模、精准目标训练数据的智能合成。
引用
@article{arxiv.2509.23252,
title = {NanoFlux: Adversarial Dual-LLM Evaluation and Distillation For Multi-Domain Reasoning},
author = {Raviteja Anantha and Soheil Hor and Teodor Nicola Antoniu and Layne C. Price},
journal= {arXiv preprint arXiv:2509.23252},
year = {2026}
}
备注
Preprint version 3; Updated References