微调小型推理模型用于量子场论
机器学习
2026-04-22 v1 人工智能
高能物理 - 唯象学
高能物理 - 理论
摘要
尽管大型语言模型（LLM）在理论物理中的应用日益增长，但对领域特定物理推理能力在训练过程中如何发展几乎没有学术探索。为此，我们对专为理论物理设计的小型（7B参数）推理模型进行首次学术微调研究。由于开源可验证训练数据稀缺，我们开发了一个健壮的数据生成管道，既能创建合成问题，又能使现有的 human-authored problems 适合模型训练。我们选取量子场论（QFT）作为主要领域，生成超过2500个合成问题，同时收集来自 arXiv 和标准教学资源的人工改编问题。我们进行强化学习（RL）和监督式微调（SFT）实验，评估性能提升并测试对其他物理领域的泛化能力。我们对模型在微调前后的链式思维进行了广泛分析，以理解 RL 和 SFT 中推理错误的演变。最后，我们公开发布了数据管道、可验证的 QFT 训练数据以及约20000万 tokens 的 QFT 推理痕迹。
引用
@article{arxiv.2604.18936,
title = {Fine-Tuning Small Reasoning Models for Quantum Field Theory},
author = {Nathaniel S. Woodward and Zhiqi Gao and Yurii Kvasiuk and Kendrick M. Smith and Frederic Sala and Moritz Münchmeyer},
journal= {arXiv preprint arXiv:2604.18936},
year = {2026}
}