SEIS：基于子空间的等变性与不变性评分用于神经表示
机器学习
2026-05-12 v2 计算机视觉与模式识别
摘要
理解神经表示如何响应几何变换对于评估学习特征是否保留有意义的空间结构至关重要。现有方法主要通过比较变换输入下的模型输出来评估鲁棒性，仅能有限地洞察几何信息在内部表示中的组织方式，无法区分信息丢失与重新编码。在本工作中，我们引入SEIS（Subspace-based Equivariance and Invariance Scores），一种用于分析图层级特征表示在几何变换下的子空间指标，无需标签或对变换的显式了解即可在等变性和不变性之间进行解耦。通过多样化架构的受控实验，我们发现若干一致模式：首先，卷积编码器显示出从强等变性向增加不变性的深度路径过渡，两种性质在前几个训练时代内趋于稳定。在分割解码器中，等变性则倾向于在后期图层中恢复。其次，这种权衡并非内在性质，而是由训练决策塑造：数据增强同时强化等变性和不变性，多任务学习则超越单个任务对两种性质均带来协同收益。扩展Beyond卷积网络，我们发现Transformer模型表现出独特的几何行为，而MLP-Mixer显示出中间特征。
引用
@article{arxiv.2602.04054,
title = {SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations},
author = {Huahua Lin and Katayoun Farrahi and Xiaohao Cai},
journal= {arXiv preprint arXiv:2602.04054},
year = {2026}
}