基于对比权重剪枝的去偏子网络训练

神经网络通常会偏向于提供误导性统计证据且泛化性差的虚假相关特征。这引出了一个有趣的问题：“在严重偏置的网络中是否存在最优的无偏功能子网络？如果存在，如何提取这样的子网络？”尽管已有关于此类无偏子网络存在性的经验证据，但这些观察主要基于真实无偏样本的指导。因此，在实践中如何利用有偏训练数据集发现最优子网络仍有待探索。为了解决这个问题，我们首先提出了我们的理论见解，警示现有算法在存在强虚假相关性时探索无偏子网络的潜在局限性。然后，我们进一步阐明了偏置冲突样本对结构学习的重要性。受这些观察的启发，我们提出了一种去偏对比权重剪枝（DCWP）算法，该算法无需昂贵的组注释即可探测无偏子网络。实验结果表明，尽管我们的方法大幅减少了参数量，但仍显著优于 SOTA 去偏方法。