ActPC-Geom：通过信息几何与多样化认知机制加速主动预测编码，迈向可扩展的在线神经符号学习

本文介绍了 ActPC-Geom，这是一种通过整合信息几何来加速神经网络中主动预测编码的方法，具体使用了基于 Wasserstein 度量的方法来实现依赖于测度的梯度流。我们提出用 Wasserstein 度量替换 ActPC 预测误差评估中的 KL 散度，认为这可能增强网络的鲁棒性。为了使其在计算上可行，我们提出了以下策略：(1) 用于依赖于测度的拉普拉斯逆算子的神经近似器；(2) 用于低秩近似的近似核 PCA 嵌入，并将其输入这些近似器；(3) 源自 kPCA 输出的组合超向量嵌入，其代数运算针对模糊 FCA 格进行了优化，该格通过分析网络状态的神经架构学习得到。这产生了一种能够进行实时在线学习的 ActPC 架构，并集成了连续的（例如类 Transformer 或类 Hopfield 网络）和离散符号的 ActPC 网络，包括用于算法化学演化的 OpenCog Hyperon 或 ActPC-Chem 等框架。共享的概率模型、概念格模型和超向量模型实现了符号与次符号的整合。关键特性包括：(1) 在类 Transformer 架构中通过超向量嵌入进行组合推理，以完成常识推理等任务；(2) Hopfield 网络动力学实现联想长期记忆和吸引子驱动的认知特性。我们概述了 ActPC-Geom 如何将小样本学习与在线权重更新相结合，从而实现深思熟虑以及无缝的符号与次符号推理。我们探讨了源自 Galois 连接的思想，以实现高效的混合 ActPC/ActPC-Chem 处理。最后，我们提出了一种专用的 HPC 设计，针对 ActPC-Geom 的需求进行了优化，以实现实时集中注意力和深思熟虑的推理。