Project Aletheia：验证器引导的回溯蒸馏用于小型语言模型
计算与语言
2026-01-22 v1
摘要
小型语言模型（SLMs，参数低于100亿）因其适合私有化、设备端部署而具有吸引力，然而，由于线性、过度自信的推理轨迹无法从早期错误中恢复，它们经常在严格的约束满足问题上失败。我们引入了验证器引导的蒸馏，这是一种训练协议，它迁移了错误修复的过程——显式的冲突检测和回溯——而不仅仅是正确的最终答案。通过在一个包含错误和自我修正的经过验证的推理轨迹上训练一个7B模型，我们展示了潜在验证行为可以在小型模型中出现，使它们能够偶尔停下来、检测矛盾并修正早期的假设。
引用
@article{arxiv.2601.14290,
title = {Project Aletheia: Verifier-Guided Distillation of Backtracking for Small Language Models},
author = {Aradhya Dixit and Tianxi Liang and Jai Telang},
journal= {arXiv preprint arXiv:2601.14290},
year = {2026}
}