AI 科学家智能体能否从 Lab-in-the-Loop 反馈中学习？迭代扰动发现的证据

近期研究质疑大型语言模型（LLM）能否在科学实验设计中进行真正的上下文学习（ICL），先前研究表明基于 LLM 的智能体对实验反馈不敏感。我们通过 800 次独立复现实验，对迭代扰动发现中的 Cell Painting 高通量筛选提供了新见解。我们比较了一个利用实验反馈迭代更新假设的 LLM 智能体与一个仅依赖预训练知识检索的零样本基线。获取反馈使每个特征的发现数平均提升 $+53.4\%$（$p = 0.003$）。为检验该提升是否源于真正的反馈驱动学习而非提示诱导的预训练知识回忆，我们引入了随机反馈控制，将命中/未命中标签随机置换。在该控制下，性能增益消失，表明观察到的改进依赖于反馈信号的结构（$+13.0$ 次命中，$p = 0.003$）。我们进一步考察模型能力对反馈利用的影响。从 Claude Sonnet 4.5 升级至 4.6 将基因幻觉率从约 $33\%$–$45\%$ 降至约 $3\%$–$9\%$，将原本不显著的 ICL 效应（$+0.8$，$p = 0.32$）转化为最佳 ICL 策略下的大幅且高度显著的提升（$+11.0$，$p=0.003$）。这些结果表明，有效的上下文学习仅在模型达到足够的能力阈值后才会出现。