监督学习具有必要的几何盲区：理论、后果与最小修复

PGD对抗训练是标准鲁棒方法，虽可降低雅可比 Frobenius 范数，但会恶化干净输入的几何结构（例如 TDI 1.336 vs. ERM 1.093）。我们指出这并非实现副作用，而是监督学习的定理层次后果。我们证明，任何最小化监督损失的编码器都必须保留沿与训练标签相关联的方向上的非零灵敏度，包括这些方向在测试时属于杂质。该结论适用于所有proper scoring rules、网络结构和数据集规模。我们将其称为监督学习的几何盲区。该定理统一了四个常被单独对待的经验现象：非鲁棒特征、纹理偏置、损坏脆弱性以及鲁棒性-准确性权衡。它还解释了为消除一个对抗方向上的灵敏度为何会在其他方向上重新分配灵敏度。我们引入轨迹偏差指数(TDI)，作为几何各向同性的诊断工具。与 CKA、内在维度或雅可比 Frobenius 范数单独使用不同，TDI 能捕捉上述失效模式。在实验中，PGD 获得低 Frobenius 范数但高 TDI，而 PMH 在增加一个训练项且无需结构性变更的情况下获得最低 TDI。在七个任务、BERT/SST-2 以及 ImageNet ViT-B/16（是 CLIP/DINO/SAM 等 backbone 的底层技术）上，几何盲区可测量且可修复。其在基础模型规模上显现，随模型规模和任务特定微调而恶化，经 PMH 显著降低。PMH 还在非高斯损坏类型（模糊/亮度/对比度）上领先，而无需针对性训练。