偏分布一般化的困难：来自类 ARC 任务的证据

偏分布(Out-of-distribution, OOD)一般化被视为人类和动物智慧的标志。要实现 OOD，系统必须发现经验输入-输出映射中不变的环境属性，并将其迁移到新输入。只有当智能系统能够识别适当、任务无关且可组合的输入特征以及这些特征的组合方法时，才能实现这一点，从而允许系统不仅仅是基于所学数据点之间的插值来行动，而是基于这些特征的任务无关组合。我们提议，为了确认算法确实从数据中学习到组合结构，仅仅在 OOD 设置上进行测试是不够的，还需要确认所识别的特征确实具有组合性。我们通过探索两个具有明确 OOD 指标的任务来展示这一点，这两个任务在三个常用神经网络（多层感知器(MLP)、卷积神经网络(CNN)和转换器(Transformer)）下都无法解决 OOD。此外，我们发展了两种具有偏置性质的新型网络架构，能够在 OOD 场景中取得成功。我们展示，即使在正确的偏置和几乎完美的 OOD 性能下，算法仍然可能无法学习到正确的特征以实现组合一般化。