生成式推理集成的标签噪声鲁棒深度图像表征学习
计算机视觉与模式识别
2023-08-07 v3
摘要
基于深度学习的图像表征学习(IRL)方法的发展引起了对各种图像理解问题的极大关注。这类方法大多需要大量高质量的标注训练图像,而收集这些图像耗时且昂贵。为降低标注成本,可考虑众包数据、自动标注流程或公民科学项目。然而,此类方法增加了训练数据中包含标签噪声的风险。当采用判别推理时,可能导致对噪声标签的过拟合。这导致次优的学习过程,从而不准确的图像刻画。为此,我们提出一种生成式推理集成的标签噪声鲁棒深度表征学习(GRID)方法。我们的方法旨在为噪声标签下 IRL 建模判别与生成推理的互补特性。为此,我们首先通过监督变分自编码器将生成推理集成到判别推理中。这使得 GRID 能自动检测带噪声标签的训练样本。然后,通过我们的标签噪声鲁棒混合表征学习策略,GRID 对这些样本通过生成推理、对其他样本通过判别推理来调整 IRL 的整体学习过程。我们的方法独立于所选 IRL 方法学习判别性图像表征,同时防止噪声标签的干扰。因此,与现有方法不同,GRID 不依赖标注类型、神经网络架构、损失函数或学习任务,可直接用于各类问题。实验结果表明其与 SOTA 方法相比的有效性。GRID 的代码公开于 https://github.com/gencersumbul/GRID。
引用
@article{arxiv.2212.01261,
title = {Generative Reasoning Integrated Label Noise Robust Deep Image Representation Learning},
author = {Gencer Sumbul and Begüm Demir},
journal= {arXiv preprint arXiv:2212.01261},
year = {2023}
}
备注
Accepted at the IEEE Transactions on Image Processing. Our code is available at https://github.com/gencersumbul/GRID