将 Deutsch 的良解释概念应用于人工智能与神经科学——初步探索

自深度学习革命以来，人工智能取得了巨大进步，但 AI 系统仍难以在其训练数据之外进行外推并适应新情况。我们借鉴科学领域以获取灵感，科学家已能够发展出展现出非凡外推能力、有时能预测从未被观测到的现象的理论。按照 David Deutsch 的观点，这类他称之为“触及范围(reach)”的外推能力源于科学理论难以变更。本文研究 Deutsch 的难变原则及其与深度学习中更形式化的原则（如偏差-方差权衡与奥卡姆剃刀）的关系。我们区分内部可变性（一个模型/理论在内部可变更多少仍能给出相同预测）与外部可变性（为准确预测新的、分布外数据，模型必须变更多少）。我们讨论如何使用 Rashomon 集的大小度量内部可变性，以及如何使用柯尔莫哥洛夫复杂度度量外部可变性。我们通过考察人脑探究难变解释在智能中的作用，并区分脑中的两个学习系统。第一个系统的运作类似于深度学习，可能构成大多数感知与运动控制的基础；第二个则更具创造性，能够生成关于世界的难变解释。我们认为，弄清如何复现这第二个能够生成难变解释的系统，是实现通用人工智能所需解决的关键挑战。我们联系了波普尔认识论框架，该框架拒绝归纳并主张知识生成是通过猜想与反驳进行的进化过程。