类别学习诱导的神经几何的信息论研究
机器学习
2023-11-28 v1 信息论
math.IT
神经元与认知
摘要
分类是生物与人工神经网络的一个重要课题。此处，我们采用信息论方法来评估类别学习所诱导表示的效率。我们表明可将相关贝叶斯代价分解为两部分，一为编码部分，一为解码部分。最小化编码代价意味着最大化类别集合与神经活动之间的互信息。我们解析地证明该互信息可写为两项之和，可解释为(i)寻找适当的表示空间，以及(ii)基于此空间上的神经费雪信息构建具有适当度量的表示。一个主要后果是类别学习在决策边界附近诱导了神经空间的扩张。最后，我们给出数值说明，展示编码神经群体的费雪信息如何与类别间边界对齐。
引用
@article{arxiv.2311.15682,
title = {Information theoretic study of the neural geometry induced by category learning},
author = {Laurent Bonnasse-Gahot and Jean-Pierre Nadal},
journal= {arXiv preprint arXiv:2311.15682},
year = {2023}
}
备注
7 pages, 2 figures, Accepted (Oral) to InfoCog@NeurIPS 2023