利用低秩正则化的自监督去偏
机器学习
2023-10-10 v2 人工智能
机器学习
摘要
虚假相关性会在深度神经网络中引起强烈的偏置，损害泛化能力。虽然大多数现有的去偏方法需要对虚假属性或目标标签进行完全监督，但从有限的两种注释中训练去偏模型仍然是一个开放问题。为了解决这个问题，我们利用潜在表示的谱分析研究了一个有趣的现象：虚假相关属性使神经网络归纳偏置趋向于编码较低有效秩的表示。我们还表明，秩正则化可以放大这种偏置，从而鼓励高度相关的特征。利用这些发现，我们提出了一个自监督去偏框架，该框架可能与无标签样本兼容。具体而言，我们首先以自监督方式结合秩正则化预训练一个偏置编码器，作为语义瓶颈强制编码器学习虚假相关属性。然后将该偏置编码器用于在下游任务中发现并增加偏置冲突样本的权重，作为有效对主模型去偏的提升。值得注意的是，所提出的去偏框架显著提高了自监督学习基线的泛化性能，在某些情况下甚至优于 SOTA 的有监督去偏方法。
引用
@article{arxiv.2210.05248,
title = {Self-supervised debiasing using low rank regularization},
author = {Geon Yeong Park and Chanyong Jung and Sangmin Lee and Jong Chul Ye and Sang Wan Lee},
journal= {arXiv preprint arXiv:2210.05248},
year = {2023}
}