层次时序感受窗与生物约束尺度不变深度网络的零样本时刻尺度泛化
神经元与认知
2026-01-07 v1 人工智能
计算与语言
机器学习
神经与进化计算
摘要
人类认知跨越嵌套时刻尺度进行信息整合。虽然皮层表现出层次时序感受窗（TRW），但局部回路常显示异质的时间常数。为解决这一矛盾，我们基于尺度不变的海马体时间细胞，在语言分类任务上训练了受生物约束的深度网络，该任务模拟语言的层次结构（例如，'字母' 构成 '单词'）。首先，我们使用基于 feedforward 模型（SITHCon）发现，尽管网络在各层内具有相同的时常数谱，但层次 TRW 仍自然地在不同层次中出现。随后，我们将这些归纳先验蒸馏到受生物学约束的循环神经网络架构中，SITH-RNN。训练一系列从通用 RNN 到该受限子集的架构，结果表明尺度不变的 SITH-RNN 以更少的 参数数量实现更快的学习，并实现对超出分布时刻尺度的零样本泛化。这些结果表明大脑采用尺度不变、顺序的归纳先验——对“什么”以及“何时”进行编码——使得具有此类先验的循环神经网络特别适合描述人类认知。
引用
@article{arxiv.2601.02618,
title = {Hierarchical temporal receptive windows and zero-shot timescale generalization in biologically constrained scale-invariant deep networks},
author = {Aakash Sarkar and Marc W. Howard},
journal= {arXiv preprint arXiv:2601.02618},
year = {2026}
}