大语言模型能否重新发明基础算法？
人工智能
2026-04-08 v1
摘要
大语言模型已展现出推动科学发现的强大潜力。然而，它们是否具备基础创新的能力仍然是一个开放问题。在本工作中，我们聚焦于基础创新的一个前提条件：大语言模型能否重新发明计算机科学中的基础算法？我们的「遗忘-再发明」管道应用 LLM 遗忘技术，从 LLM 的预训练知识中移除特定基础算法（如 Dijkstra 算法或欧几里得算法），然后在受控环境中测试模型能否重新发明它。为实现有效遗忘，我们采用基于 GRPO 的在线遗忘方法。在 10 个目标算法、3 个强开源模型和 3 个提示层级上，我们的实验表明：（1）最强模型 Qwen3-4B-Thinking-2507 在无提示时成功重新发明了 50% 的算法，在提示层级 1 时达到 70%，在提示层级 2 时达到 90%；（2）少量高层级提示可以提升再发明成功率，但即使是逐步提示也对复杂算法无效；（3）测试时强化学习使 Strassen 算法在提示层级 2 时成功再发明。通过对输出轨迹的分析和消融研究，我们发现再发明阶段的生成验证器在维持模型推理能力方面发挥关键作用，有助于避免「思维崩溃」现象。这些发现为理解 LLM 创新思维的潜力和当前局限提供了见解。
引用
@article{arxiv.2604.05716,
title = {Can Large Language Models Reinvent Foundational Algorithms?},
author = {Jian Zhao and Haoren Luo and Yu Wang and Yuhan Cao and Pingyue Sheng and Tianxing He},
journal= {arXiv preprint arXiv:2604.05716},
year = {2026}
}