人工智能科学发现

根植于过去十年深度学习的爆发，本论文从 AlphaGo 到 ChatGPT 进行跨越，实证检验了实现人工科学家愿景所需的基本概念：一台能够自主产生原创研究并为扩展人类知识做出贡献的机器。研究始于 Olivaw，这是一个类似于 AlphaGo Zero 的智能体，它能从零开始发现黑白棋知识，但无法将其传达出来。这一认识促使了解释学习（EL）框架的发展，该框架将科学家在试图向同行解释新现象时所面临的问题形式化。有效的 EL 规则使我们能够破解 Zendo，一款模拟科学探索过程的流行桌面游戏。这一成功带来了一个基本洞见：人工科学家必须对用于解释其发现的语言发展出自己的解释，而不是依赖僵化的现有解释器。在对学习解释器的过程本身提出质疑后，我们将注意力转向现代多模态模型的内部运作。这最终引出了一个构建类 CLIP 模型的简单想法，其中解释和感知被显式解耦：这是一种具有成本效益的方法，使用少量多模态数据且无需进一步训练即可耦合两个单模态模型。最后，我们讨论了 ChatGPT 及其同类模型要成为人工科学家仍缺少什么，并介绍了 Big-Bench 符号解释任务，这是一个关于解释类 Zendo 说明的基准测试，在该任务中 LLM 的表现并未超过随机概率，而人类却能完全解决。