叠加作为有损压缩：用稀疏自编码器衡量并关联对抗性脆弱性

神经网络通过叠加机制实现卓越性能：将多个特征编码为激活空间中重叠的方向，而非为每个特征分配单独的神经元。这一做法挑战了可解释性，而我们缺乏原则性方法来衡量叠加。我们提出了衡量神经表示有效自由度的信息论框架。我们应用香农熵对稀疏自编码器激活进行计算，得到表示有效特征数的度量，即为实现无干扰编码所需的最小神经元数。等价地，这度量了网络通过叠加模拟的"虚拟神经元"数量。当网络编码的有效特征数超过实际神经元数时，必须接受叠加压缩所带来的干扰代价。我们的度量在 toy model 中与真实值高度相关，检测算法任务中的最小叠加，并揭示 dropout 导致的系统性降低。层级模式与 Pythia-70M 的内在维度研究相吻合。该度量还捕捉发展动力学，检测到特征在 grokking 期间的尖锐聚合。令人惊讶的是，对抗性训练可在提高鲁棒性的同时增加有效特征数，与叠加导致脆弱性的假设相悖。相反，效果取决于任务复杂性与网络容量：简单任务且容量充足时允许特征扩张（丰饮 regime），而复杂任务或容量有限时则导致减少（稀缺 regime）。通过将叠加定义为有损压缩，本工作为在计算约束下组织信息的方式提供了原则性衡量方法，连接了叠加与对抗性鲁棒性。