泛化与信息权衡的速率失真签名

泛化以应用于新颖视觉条件仍是人类和机器视觉的核心挑战，而标准鲁棒性指标对理解系统如何在准确率与鲁棒性之间进行权衡提供了有限的洞见。我们引入一个基于速率失真理论的框架，将刺激-响应行为视为有效通信信道，推导自混淆矩阵的速率失真（RD）前沿，并用两个可解释的几何签名——斜率（$\beta$）和曲率（$\kappa$）——概括每个系统，这捕捉准确-鲁棒性权衡的边际成本和突变性。将此框架应用于人类心理物理学和 18 个深度视觉模型，在受控图像扰动下进行比较，评估不同模型架构和训练方案中的泛化几何。我们发现，生物和人工系统都遵循常见的有损压缩原则，但在 RD 空间中占据系统不同的区域。特别是，人类表现出更平滑、更灵活的权衡，而现代深度网络即使在匹配准确率下也处于更陡峭、更脆弱的 regime。对于各种训练方案，鲁棒性训练诱导系统atic 但可分离的 beta/kappa 变化，揭示了在提高鲁棒性或准确率并不一定转化为更类似人类的泛化几何的案例。这些结果表明，RD 几何提供了一种紧凑、模型无关的方式，用于比较超越标准基于准确率的指标的泛化行为。