中文

简单神经回路归纳偏置的元学习

神经元与认知 2023-07-20 v3

摘要

训练数据总是有限的,因此如何泛化到未见过的情况并不明确。但动物确实会泛化,挥舞奥卡姆剃刀以对其观测选择简约的解释。它们如何做到这一点被称为其归纳偏置,并且它隐式地构建于动物神经回路的运作之中。所观测回路与其归纳偏置之间的这种关系对神经科学是一个有用的解释窗口,使得设计选择可从规范角度被理解。然而,通常将回路结构映射到归纳偏置极为困难。在此,我们提出一个神经网络工具以弥合此鸿沟。该工具通过学习任务来元学习归纳偏置,这些任务是神经回路易于泛化的函数,因为易于泛化的函数恰是回路选择用以解释不完整数据的那些。在具有解析已知归纳偏置的系统中,即线性和核回归,我们的工具恢复了它。一般而言,我们展示它可灵活地从监督学习器(包括脉冲神经网络)中提取归纳偏置,并展示其如何应用于真实动物。最后,我们使用我们的工具解释近期连接组学数据,阐明其预期用途:通过所得归纳偏置理解回路特征的作用。

关键词

引用

@article{arxiv.2211.13544,
  title  = {Meta-Learning the Inductive Biases of Simple Neural Circuits},
  author = {William Dorrell and Maria Yuffa and Peter Latham},
  journal= {arXiv preprint arXiv:2211.13544},
  year   = {2023}
}

备注

14 pages, 12 figures