面向单域泛化的模型感知参数批量混合技术

单域泛化 (SDG) 是机器学习领域中的一项巨大挑战，尤其是在模型部署的环境与训练域度异时更为突出。本文提出一种新颖的数据增强方法，称为模型感知参数批量混合 (Model-aware Parametric Batch-wise Mixup, MPBM)，以解决 SDG 挑战。MPBM 采用基于随机梯度 Langevin 动力学生成的对抗查询， 并通过一种通过创新注意力机制精心设计的参数批量混合生成器网络，产生模型感知的增强实例。通过利用特征之间的关联性，参数化混合生成器在批量实例之间引入额外的灵活性，从而增强了生成特定查询下高度自适应且信息丰富合成实例的能力。该灵活生成器网络产生的合成数据，由有信息查询引导，预计能显著丰富原始训练数据集所覆盖的表示空间，从而提升模型在跨越多样且以前未见域的通用性。为防止过度偏离训练数据，我们进一步将基于真实数据对齐的对抗损失纳入 MPBM 的学习过程中，正则化任何不寻求的扩张倾向。我们在几个基准数据集上进行大量实验。实验结果表明，通过用有信息的合成数据增强训练集，我们提出的 MPBM 方法在单域泛化方面实现了最佳性能。