一种受昆虫启发的随机加权神经网络与随机傅里叶特征用于神经符号关系学习
计算机视觉与模式识别
2021-09-15 v1 机器学习
摘要
果蝇和蜜蜂等昆虫能解决简单的联想学习任务并学习“相同”与“不同”等抽象概念，这被视为一种高阶认知功能，通常认为依赖于新皮层的自上而下加工。对果蝇的实证研究有力支持昆虫脑中嗅觉加工使用了随机表征架构。基于这些结果，我们提出随机加权特征网络（RWFN），其在编码器中引入随机抽取、未经训练的权重，并使用一个适配的线性模型作为解码器。昆虫脑中输入神经元与高阶处理中枢之间的随机投影，在 RWFN 中由单隐层神经网络模仿，该网络利用随机傅里叶特征在隐层中特殊构造潜表征，通过核近似更好地表示输入间的复杂关系。得益于这一特殊表征，RWFN 仅训练线性解码器模型即可有效学习输入间的关系程度。我们将 RWFN 与 LTN 在语义图像解释（SII）任务上的性能进行比较，该任务已被用作代表性示例，说明 LTN 如何利用一阶逻辑上的推理超越纯数据驱动方法的性能。我们证明，相较于 LTN，RWFN 在 SII 任务中的对象分类及对象间部分-整体关系检测上均能取得更优或相近性能，同时使用的可学习参数极少（1:62 比例）且学习过程更快（运行速度 1:2 比例）。此外，我们表明由于随机权重不依赖于数据，多个解码器可共享单一随机编码器，使 RWFN 在同步分类任务中具有独特的空间规模经济性。
引用
@article{arxiv.2109.06663,
title = {An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning},
author = {Jinyung Hong and Theodore P. Pavlic},
journal= {arXiv preprint arXiv:2109.06663},
year = {2021}
}
备注
17 pages, 5 figures, 2 tables, submitted to NeSy20/21 @ IJCLR. arXiv admin note: text overlap with arXiv:2006.12392