迈向实用的非对抗分布匹配
机器学习
2024-06-05 v2 机器学习
摘要
分布匹配可用于学习不变表示,在公平性与鲁棒性方面具有应用。大多数先前工作求助于对抗匹配方法,但由此产生的最小最大问题不稳定且难以优化。非对抗的基于似然的方法要么要求模型可逆,要么对潜先验施加约束,要么缺乏用于分布匹配的通用框架。为克服这些局限,我们提出一种基于非对抗VAE的匹配方法,可应用于任意模型流水线。我们开发了一组用于分布匹配的对齐上界(包括一个含噪上界),其具有类VAE目标但视角不同。我们仔细地从理论和实证两方面将我们的方法与先前的基于VAE的匹配方法进行比较。最后,我们证明我们的新颖匹配损失可在标准不变表示学习流水线中替代对抗损失而无需修改原始架构——从而显著拓宽非对抗匹配方法的适用性。
引用
@article{arxiv.2310.19690,
title = {Towards Practical Non-Adversarial Distribution Matching},
author = {Ziyu Gong and Ben Usman and Han Zhao and David I. Inouye},
journal= {arXiv preprint arXiv:2310.19690},
year = {2024}
}
备注
9 pages, AISTATS 2024