OccamNets：通过偏好更简假设缓解数据集偏差
机器学习
2024-04-16 v5
摘要
数据集偏差与伪相关会严重损害深度神经网络的泛化能力。许多先前工作使用替代损失函数或聚焦于稀有模式的采样策略来解决该问题。我们提出一个新方向：修改网络架构以施加归纳偏置，使网络对数据集偏差具有鲁棒性。具体而言，我们提出 OccamNets，其设计上偏好更简单的解决方案。OccamNets 具有两种归纳偏置。第一，它们偏向于对单个样本使用尽可能少的网络深度。第二，它们偏向于使用更少的图像位置进行预测。尽管 OccamNets 偏向于更简单的假设，但在必要时也能学习更复杂的假设。在实验中，OccamNets 优于或媲美在不含这些归纳偏置的架构上运行的 SOTA 方法。此外，我们证明当 SOTA 去偏方法与 OccamNets 结合时结果进一步提升。
引用
@article{arxiv.2204.02426,
title = {OccamNets: Mitigating Dataset Bias by Favoring Simpler Hypotheses},
author = {Robik Shrestha and Kushal Kafle and Christopher Kanan},
journal= {arXiv preprint arXiv:2204.02426},
year = {2024}
}
备注
ECCV 2022