模型 Metamers 揭示图神经网络中的不变性
机器学习
2025-10-21 v1
摘要
近年来,深度神经网络被广泛应用于感知系统以学习具备不变性的表征,旨在模拟人脑中观察到的不变性机制。然而,视觉和听觉领域的研究已确认,人工神经网络的不变性特性与人类的之间仍存在显著差距。为探讨图神经网络 (GNN) 中的不变性行为,我们引入一种模型 "Metamers" 生成技术。通过优化输入图结构,使其内部节点激活匹配参考图的节点激活,我们获得在模型表征空间中等价但在结构和节点特征上显著不同的图。我们的理论分析聚焦于两个方面:单个节点的局部 Metamers 维度以及由激活引起的 Metamers 流形体积变化。利用这一方法,我们发现经典 GNN 架构在多个方面展现出极高的表征不变性。尽管针对模型架构和训练策略进行的针对性修改可在一定程度上缓解这种过度不变性,但无法从根本上缩小与人类类似不变性的差距。最后,我们量化了 Metamers 图与其原始图之间的偏差,揭示当前 GNN 的独特失效模式,为模型评估提供了互补基准。
引用
@article{arxiv.2510.17378,
title = {Model Metamers Reveal Invariances in Graph Neural Networks},
author = {Wei Xu and Xiaoyi Jiang and Lixiang Xu and Dechao Tang},
journal= {arXiv preprint arXiv:2510.17378},
year = {2025}
}