用于对称性分析的群交叉编码器

我们提出了群交叉编码器，这是交叉编码器的一个扩展，通过系统性地发现和分析神经网络中的对称特征。虽然神经网络通常会发展出在没有显式架构约束的情况下的等变表示，但传统上依赖手动分析来理解这些突现对称性。群交叉编码器通过对输入在对称群下的变换版本进行字典学习来自动化此过程。应用于 InceptionV1 mixed3b 层时使用二面性群 $\mathrm{D}_{32}$，我们的方法揭示了若干关键见解：首先，它自然地将特征聚类到可解释的家族中，这些家族对应于之前假设的特征类型，提供了比标准稀疏自动编码器更精确的分离。其次，我们的变换块分析使我们能够自动特征化特征的对称性，揭示了不同几何特征（如曲线与直线）在不变性和等变性方面 exhibits 何种不同模式。这些结果表明，群交叉编码器能够为神经网络如何表示对称性提供系统性见解，为机制可解释性提供了一项有前景的新工具。