双层自检索：元自检索的自我优化

如果自检索本身是一种研究形式，那么自检索就可以被应用于研究本身。我们直面这一思想：我们使用自检索循环来优化该自检索循环。目前所有已有的自检索系统——从卡尔帕希的单轨道循环到 AutoResearchClaw 的多批次扩展，再到 EvoScientist 的持久记忆——都由曾经阅读代码、识别瓶颈并编写新代码的研究者进行改进。我们询问：大语言模型能否自动完成同样的工作。我们提出双层自检索框架，其中外层循环通过在运行时生成并注入新的搜索机制来元优化内层自检索循环。内层循环负责优化任务；外层循环负责优化内层循环的搜索方式。两者都使用相同的大语言模型——无需更强的模型进行元层次优化。在卡尔帕希的 GPT 预训练基准测试中，采用元自检索的外层循环相对于标准内层循环实现了 5 倍的改进（-0.045 vs. -0.009 val_bpb），而仅进行参数级调整而不改变搜索机制则未能实现可靠的提升。外层循环自主发现来自组合优化、多臂老虎机和实验设计等领域的机制，无需人类指定要探索的具体领域。这些机制之所以成功，是因为它们打破了内层循环中确定性搜索模式，迫使其探索那些大语言模型先验系统atically 规避的方向。核心原则简单：如果自检索可以元自检索自身，那么它就可以原则上元自检索任何具有可度量目标的事物。