生成式提示

数据增强在视觉领域被广泛使用，通过使模型学习不变属性来引入变化并缓解过拟合。然而，增强仅间接捕获这些属性，并未明确约束学习到的函数在经验训练集之外满足这些属性。我们提出了生成式提示，这是一种直接强制输入分布上已知函数不变性的训练方法。我们的方法利用在训练数据上训练的生成模型来近似输入分布并生成未标记的合成图像，我们称之为虚拟样本。在这些虚拟样本上，我们施加提示目标，明确约束模型的预测以满足已知的不变属性，例如空间不变性。尽管原始训练数据集是完全标记的，但生成式提示通过将真实数据上的标准分类目标与应用于未标记虚拟样本的辅助提示目标相结合，以半监督方式训练模型。在多个数据集、架构、不变性类型和损失函数上，生成式提示始终优于标准数据增强，在细粒度视觉分类基准上实现了高达2.10%的准确率提升，在CheXpert医学影像数据集上平均提升1.29%。