超越拓扑结构：拓扑正则化提升卷积神经网络的鲁棒性并重塑表征
机器学习
2026-01-13 v2
摘要
拓扑卷积神经网络（TCNN）是能够模拟大脑空间和功能组织方面的计算模型，但目前尚不清楚不同类型的拓扑正则化如何影响端到端训练期间的鲁棒性、表征结构和功能组织。我们通过比较两种应用于前导层拓扑网格的局部空间损失来回答这一问题：i) 权重相似性（Weight Similarity, WS），其目标对相邻单元的输入权重向量差异进行惩罚；ii) 激活相似性（Activation Similarity, AS），其目标对刺激下相邻单元激活模式的差异进行惩罚。我们在分类准确率、权重扰动和输入退化的鲁棒性、学习表征的空间组织以及前导层类别选择性"专家单元"的发展等方面评估了训练后的模型。两种损失均改变了单元间的相关结构，但方式不同。WS产生平滑的拓扑结构，具有相关的邻域；相反，AS产生双峰型的单元间相关结构，缺乏空间平滑性。AS和WS训练均提高了相较于控制组（非拓扑）模型的鲁棒性：AS在CIFAR-10上改善了图像退化的鲁棒性，WS在MNIST上如此，而两种方法均提高了权重扰动的鲁棒性。WS还与单元层面的更大输入灵敏度和更强的功能局部化相关。在此外，与控制模型相比，两种方法都导致了定向调谐、对称性灵敏度和离心率轮廓的差异。综上所述，这些结果表明，局部拓扑正则化可以在端到端训练期间提高鲁棒性，同时系统性地重塑表征结构。
引用
@article{arxiv.2508.00043,
title = {Beyond topography: Topographic regularization improves robustness and reshapes representations in convolutional neural networks},
author = {Nhut Truong and Uri Hasson},
journal= {arXiv preprint arXiv:2508.00043},
year = {2026}
}
备注
Title updated, edits, expanded analysis of expert units