剪枝与蒸馏：大鼠视觉皮层与深度神经网络中图像信息重构的相似性
神经元与认知
2023-06-06 v1 机器学习
摘要
视觉物体识别在神经科学与计算机视觉中均被广泛研究。近来，用于该任务最流行的一类人工系统——深度卷积神经网络(CNNs)，已被证明可极好地建模其在脑中的功能对应物，即视觉皮层中的腹侧流。这引发了如下问题：在CNN或腹侧流中流动时，视觉信息重构背后是否存在共同原则。此处我们考虑CNN或视觉皮层内部表征中已知存在的某些显著统计模式，并在另一系统中寻找它们。我们展示沿大鼠腹侧流同源物的物体表征的内在维度(ID)呈现两个明显的扩张-收缩相，正如先前对CNN所示。反之，在CNN中，我们展示训练导致单单元中低到中层图像信息的蒸馏与主动剪枝(镜像ID的增加)，随着表征获得支持不变性判别的能力，与先前在大鼠视觉皮层中的观察一致。综上，我们的发现表明CNN与视觉皮层在物体表征的维度扩张/缩减与图像信息重构之间共享一种类似的紧密关系。
引用
@article{arxiv.2205.13816,
title = {Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks},
author = {Paolo Muratore and Sina Tafazoli and Eugenio Piasini and Alessandro Laio and Davide Zoccolan},
journal= {arXiv preprint arXiv:2205.13816},
year = {2023}
}
备注
11 pages, 5 fiures