神经网络何时会学习世界模型？

人类发展出能够捕捉数据生成过程的世界模型。神经网络是否能学习类似的世界模型仍是一个开放问题。本文提出首个针对该问题的理论结果，表明在多任务设置下，具有低阶偏置的模型在轻微假设下即可恢复潜在数据生成变量——即便代理任务涉及潜在变量的复杂非线性函数。然而，这种恢复对模型架构较为敏感。我们的分析利用Fourier-Walsh变换构建的任务解决方案布尔模型，并引入了分析可逆布尔变换的新技术，可能对独立研究领域也具有意义。我们说明了算法层面的意义，并将其与相关研究领域联系起来，包括自监督学习、分布外推广以及大型语言模型中的线性表示假设。