利用扩散解耦表示缓解欠规范视觉任务中的捷径学习
计算机视觉与模式识别
2023-11-21 v5 人工智能
摘要
数据中的伪相关（多个线索可预测目标标签）常导致捷径学习现象，即模型可能依赖错误的、易学的线索而忽略可靠的线索。本工作中，我们提出一种集成多样化框架，利用扩散概率模型（DPMs）生成合成反事实样本。我们发现 DPMs 具有独立表示多个视觉线索的固有能力，即便这些线索在训练数据中高度相关。我们利用该特性促进模型多样性，并针对若干多样化目标实证展示了方法的有效性。我们表明，扩散引导的多样化可引导模型将注意力从捷径线索移开，取得与先前需额外数据采集的方法相当的集成多样性表现。
引用
@article{arxiv.2310.02230,
title = {Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks},
author = {Luca Scimeca and Alexander Rubinstein and Armand Mihai Nicolicioiu and Damien Teney and Yoshua Bengio},
journal= {arXiv preprint arXiv:2310.02230},
year = {2023}
}
备注
Accepted at Neural Information Processing Systems(NeurIPS) 2023 - Workshop on Diffusion Models