改善生成模型中的公平性并缓解 MADness 问题
机器学习
2024-10-07 v3 机器学习
摘要
生成模型对属于少数类的数据不公平地施加惩罚， suffer from model autophagy disorder (MADness)，并学习受偏置的分布参数估计。我们的理论和实证结果表明，使用精心设计的超网络进行训练可导致模型：1) 在生成属于少数类的数据点时更公平 2) 在自消费（即 MAD）环境下更稳定，3) 学习的参数更少受统计偏差影响。为进一步缓解不公平性、MADness 和偏差，我们引入一个正则化项，对抑制在训练真实数据与合成数据时生成模型估计权重之间的差异。为便于在我们的框架中训练现有的深度生成模型，我们提供一种可扩展的超网络实现，自动为任何给定的生成模型生成超网络架构。
引用
@article{arxiv.2405.13977,
title = {Improving Fairness and Mitigating MADness in Generative Models},
author = {Paul Mayer and Lorenzo Luzi and Ali Siahkoohi and Don H. Johnson and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2405.13977},
year = {2024}
}