我们离真正的不可学习性还远吗？

高质量数据在大模型时代起着不可或缺的作用，但未经授权的数据用于模型训练严重损害数据所有者的利益。为克服这一威胁，已提出多种不可学习方法，通过牺牲数据训练可用性来生成不可学习示例 (UE)。显然，由于训练目的未知且现有模型具备强大的表示学习能力，这些数据预计对跨多个任务的模型均不可学习，即不会帮助提升模型性能。然而，意外地，我们发现即使在多任务数据集 Taskonomy 上，UE 在语义分割等任务中仍表现良好，未能实现跨任务不可学习性。这一现象使我们不得不质疑：我们离实现真正不可学习性示例还有多远？我们尝试从模型优化的角度来回答此问题。为此，我们使用简单模型架构观察干净模型与中毒模型在收敛过程中的差异。随后，我们从损失景观发现，只有部分关键参数优化路径显示显著差异，这暗示了损失景观与不可学习性之间存在密切关系。因此，我们利用损失景观来解释 UEs 的背后原因，并提出 Sharpness-Aware Learnability (SAL) 基于此解释对参数的不可学习性进行量化。进一步，我们提出一种不可学习距离 (UD) 基于干净模型与中毒模型中参数的 SAL 分布来衡量数据的不可学习性。最后，我们在主流不可学习方法上进行基准测试，使用所提出的 UD 以促进社区对现有不可学习方法能力边界的认识。