小型推理模型短期综述：训练、推理、应用与研究方向
人工智能
2025-04-15 v1 计算与语言
摘要
最近，大型推理模型（LRMs）如 DeepSeek-R1 在通过慢速思考过程方面取得了显著进展。尽管如此，这些模型的巨大计算需求仍然面临重大挑战。相比之下，小型推理模型（SRMs）通常从更大模型蒸馏而来，具有更高的效率优势，并且可能展现出与 LRMs 不同的能力和认知轨迹。本文综述了约 170 篇近期关于 SRMs 的论文，以解决各种复杂推理任务。我们审视了 SRMs 的当前格局，分析了与 SRMs 相关的多样化训练和推理技术。此外，我们提供了关于 SRMs 在特定领域应用的全面综述，并讨论了可能的未来研究方向。本综述为研究人员提供了一种重要参考，帮助其以高效方式利用或开发 SRMs 以实现先进的推理功能。
引用
@article{arxiv.2504.09100,
title = {A Short Survey on Small Reasoning Models: Training, Inference, Applications and Research Directions},
author = {Chengyu Wang and Taolin Zhang and Richang Hong and Jun Huang},
journal= {arXiv preprint arXiv:2504.09100},
year = {2025}
}