训练后增强不变性
机器学习
2026-04-24 v2 机器学习
摘要
本工作开发了一个训练后增强不变性框架，其目标是在不改变预训练网络在原始、未增强输入分布上行为的前提下，为其添加不变性属性。我们精确定义了这一概念，并额外引入了增强编码器，这是一种概率编码器，它形式化了基于增强的编码过程，并作为我们的基本研究对象。我们为增强编码器引入了两种损失函数，即 Markov-Wasserstein 最小化和 Wasserstein 相关性最大化，并通过实验证明，这两种损失均可用于训练轻量级、单隐藏层的 MLP 适配器网络 E_theta。当该适配器网络附加到预训练网络 F 的潜在空间后，确实能实现（近似的）训练后增强不变性。例如，在 STL10 数据集上，使用 F = DINOv2 特征，复合网络 C o E_theta o F（其中 C 是线性分类器，E_theta 是我们提出的适配器网络之一）在任意旋转的图像上达到了 94% 的分类准确率，而没有适配器 E_theta 的网络 C o F 准确率则降至 71%。类似地，我们可以将噪声不变性分类结果从 58% 提升至 86%。重要的是，我们在没有微调的情况下获得了这些结果（F 的权重在整个过程中保持冻结），并且我们的方法对原始特征的破坏很小，因为 E_theta 在未增强的潜在分布上几乎是等距作用的。相比之下，我们展示了使用其他候选损失（特别是 SimCLR 和 HSIC 最大化）训练的适配器网络，其分类结果不具有竞争力，并且从根本上破坏了原始潜在空间。代码可在以下地址获取：https://github.com/keenan-eikenberry/augmentation_invariance
引用
@article{arxiv.2505.11702,
title = {Post-Training Augmentation Invariance},
author = {Keenan Eikenberry and Lizuo Liu and Yoonsang Lee},
journal= {arXiv preprint arXiv:2505.11702},
year = {2026}
}