释放两点细胞潜力以实现深度网络节能且鲁棒的训练
神经与进化计算
2022-12-23 v3 计算机视觉与模式识别
机器学习
摘要
对上下文敏感的两点第 5 层锥体细胞（L5PC）早在 1999 年就被发现。然而，这一发现用于提供有用神经计算的潜力尚待证明。在此我们首次展示了一个变革性的由 L5PC 驱动的深度神经网络（DNN），称为多感官协同计算（MCC）架构，如何能够有效处理大量异构真实世界视听（AV）数据，且与现有最佳的“点”神经元驱动 DNN 相比能耗大幅降低。在 Xilinx UltraScale+ MPSoC 器件上的一种新型高度分布式并行实现估计可节省高达 245759 × 50000 μJ 的能量（即在半监督学习设置中比基线模型少 62%），其中单个突触消耗 8e^{-5} μJ。在监督学习设置中，节能潜力可达比基线模型低至多 1250 倍（每次前馈传输）。MCC 中显著减少的神经活动带来了固有的快速学习以及对突发神经损伤的鲁棒性。试点实验中这一卓越表现展示了我们所提出的协同 L5PC 的具身神经形态智能：其接收来自不同邻近神经元的输入作为上下文，以放大最显著和相关信息的传输以供后续传输，来自早期片上训练阶段利用的压倒性大量多模态信息。我们提出的方法为未来片上 DNN 训练实现开辟了跨学科新途径，并标志着当前神经形态计算范式的根本性转变。
引用
@article{arxiv.2211.01950,
title = {Unlocking the potential of two-point cells for energy-efficient and resilient training of deep nets},
author = {Ahsan Adeel and Adewale Adetomi and Khubaib Ahmed and Amir Hussain and Tughrul Arslan and W. A. Phillips},
journal= {arXiv preprint arXiv:2211.01950},
year = {2022}
}