小鼠真正理解了吗?感觉皮层过度训练期间隐藏进展的迹象
机器学习
2024-12-03 v2 神经元与认知
摘要
当行为不再变化时,任务相关表征的学习是否就停止了?受机器学习近期理论进展以及人类专家在掌握技能后仍能从练习中持续学习的直观观察所启发,我们假设任务特定的表征学习可以在行为达到平台期后继续进行。通过对近期发表的神经数据进行重新分析,我们在 mice 过度训练后(即行为已接近天花板表现很久之后)的后梨状皮层中发现了此类学习的证据。这种学习表现为从梨状皮层神经群体解码准确率的提升,以及在保留泛化测试上的性能改善。我们证明皮层中的类别表征在过度训练期间持续分离,因此那些在过度训练开始时被错误分类的样本可以在后期被突然正确分类,尽管在此期间行为没有任何变化。我们假设这种隐藏而丰富的学习以近似间隔最大化(margin maximization)的形式进行;我们在神经数据中验证了这一及其他预测,并构建和解释了一个能够复现这些现象的简单合成模型。最后,我们展示了这种晚期特征学习模型如何为动物学习中的过度训练反转这一经验谜题提供解释,即由于学到的特征可以被复用,任务特定表征对特定任务变化更具鲁棒性。
引用
@article{arxiv.2411.03541,
title = {Do Mice Grok? Glimpses of Hidden Progress During Overtraining in Sensory Cortex},
author = {Tanishq Kumar and Blake Bordelon and Cengiz Pehlevan and Venkatesh N. Murthy and Samuel J. Gershman},
journal= {arXiv preprint arXiv:2411.03541},
year = {2024}
}