中文

多编码单解码神经网络架构中的前向-合作-后向(FCB)学习

机器学习 2025-02-28 v1 人工智能 计算机视觉与模式识别 神经与进化计算

摘要

训练神经网络最流行的技术是反向传播。最近,前向-前向技术也被用于某些学习任务。然而,在现实生活中,人类的学习并不严格遵循其中任何一种技术。人类学习的方式基本上是前向学习、反向传播和合作的结合。人类开始学习新概念时会独立进行,然后试图在此过程中层次化地细化理解,期间可能会遇到几种疑问。最常见的疑问解决方法是与同伴讨论,这可以称为合作。在同伴之间进行合作/讨论/知识共享是人类学习过程中最重要的步骤之一。然而,即使在讨论之后,仍可能仍有少数疑问。随后,会识别并最小化概念理解与原始文献之间的差异,经过多次修订。以此为灵感,本文在深度神经网络框架中引入前向-合作-后向(FCB)学习,以模拟人类学习新概念的本质。设计了一种新型深度神经网络架构,称为多编码单解码神经网络模型,该模型采用FCB的概念进行学习。还引入了特殊的侧向突触连接以实现合作。对该模型在四个流行数据集上的维度缩减性能进行了验证。已测试其在低秩嵌入中保留数据粗粒度属性的能力,以证明维度缩减质量。对于下游分析,还进行了分类。对收敛性分析的实验研究表明了FCB学习策略的有效性。

关键词

引用

@article{arxiv.2502.20113,
  title  = {Forward-Cooperation-Backward (FCB) learning in a Multi-Encoding Uni-Decoding neural network architecture},
  author = {Prasun Dutta and Koustab Ghosh and Rajat K. De},
  journal= {arXiv preprint arXiv:2502.20113},
  year   = {2025}
}