迈向深度学习与神经科学的整合
神经元与认知
2020-02-04 v1
摘要
神经科学侧重于计算的详细实现，研究神经编码、动力学与回路。然而在机器学习中，人工神经网络倾向于避开精确设计的编码、动力学或回路，转而采用对代价函数的暴力优化，通常使用简单且相对均匀的初始架构。机器学习领域近期出现的两项发展为连接这些看似分歧的视角创造了机会。首先，使用了结构化架构，包括用于注意力、递归以及各种短期与长期记忆存储的专用系统。其次，代价函数与训练过程变得更加复杂，且在不同层与不同时间上有所变化。在此，我们基于这些想法来思考大脑。我们假设：(1) 大脑优化代价函数，(2) 这些代价函数是多样的，且在大脑不同位置与发育过程中有所不同，(3) 优化在与行为所提出的计算问题相匹配的预结构化架构内进行。这种由一系列相互作用的代价函数所实现的异构优化系统，使得学习具有数据高效性，并能精确针对生物体的需求。我们提出了神经科学可借以完善并检验这些假设的方向。
引用
@article{arxiv.1606.03813,
title = {Towards an integration of deep learning and neuroscience},
author = {Adam Marblestone and Greg Wayne and Konrad Kording},
journal= {arXiv preprint arXiv:1606.03813},
year = {2020}
}