为正确的潜在因素而正确:通过解耦消除生成模型偏差
机器学习
2022-02-02 v1
摘要
大多数统计机器学习方法的一个关键假设是,它们能够获得在测试时遇到的数据分布的独立样本。因此,这些方法在有偏数据面前往往表现不佳,因为这打破了该假设。特别是,机器学习模型已被证明会表现出类似 Clever-Hans 的行为,即无意中学习了训练集中的伪相关。已有若干工作提出修正深度分类器以学习正确的相关关系。然而,生成模型迄今被忽视了。我们观察到生成模型也容易出现类似 Clever-Hans 的行为。为应对此问题,我们提出通过解耦生成模型的内部表示来消除其偏差,这通过人类反馈实现。我们的实验表明,即使人类反馈仅覆盖期望分布的一小部分,该方法也能有效去除偏差。此外,在与近期方法的定量比较中,我们取得了强劲的解耦结果。
引用
@article{arxiv.2202.00391,
title = {Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement},
author = {Xiaoting Shao and Karl Stelzner and Kristian Kersting},
journal= {arXiv preprint arXiv:2202.00391},
year = {2022}
}