智能体与大语言模型中主动因果策略的被动学习

从被动数据中能学到关于因果与实验的什么？鉴于近期被动训练的语言模型在工具使用等交互式领域的成功，该问题尤为突出。被动学习固有局限。然而，我们表明只要智能体在测试时可干预，纯被动学习事实上可让智能体学到用于确定并利用因果结构的可泛化策略。我们形式化地说明，先实验再求目标的策略学习原则上可允许从被动学习泛化。继而通过实验经验性地展示，经专家数据模仿训练的智能体确实能在测试时泛化推断并使用训练数据中从未出现的因果链接；这些智能体亦能将实验策略泛化至训练中未观测过的新变量集。我们进一步表明，即便在具有高维观测的更复杂环境中，借助自然语言解释的辅助，因果干预与利用策略也可从被动数据泛化。解释甚至能让被动学习者在来自完全混淆训练数据的分布外泛化。最后，我们展示仅经被动下一词预测训练的语言模型，能从含实验示例及解释与推理的少样本提示中泛化因果干预策略。这些结果凸显了主动因果策略被动学习的惊人能力，并有助于理解语言模型的行为与机能。