DenoiseRep：面向表示学习的去噪模型
计算机视觉与模式识别
2024-11-06 v4
摘要
去噪模型已被证明是一种强大的生成模型，但在判别任务中的探索很少。表示学习在判别任务中很重要，其定义为“学习数据的表示（或特征），以便在构建分类器或其他预测器时更容易提取有用信息”。本文提出了一种新颖的面向表示学习的去噪模型（DenoiseRep），通过联合特征提取和去噪来提高特征判别性。DenoiseRep将骨干网络中的每个嵌入层视为一个去噪层，处理级联的嵌入层，就像我们逐步递归地去噪特征一样。这统一了特征提取和去噪的框架，前者从低级到高级逐步嵌入特征，后者逐步递归地去噪特征。之后，DenoiseRep融合特征提取层和去噪层的参数，并从理论上证明了融合前后的等价性，从而使特征去噪无需计算。DenoiseRep是一种无标签算法，可以逐步改进特征，但如果标签可用，它也是互补的。在各种判别性视觉任务上的实验结果，包括重识别（Market-1501、DukeMTMC-reID、MSMT17、CUHK-03、vehicleID）、图像分类（ImageNet、UB200、Oxford-Pet、Flowers）、目标检测（COCO）、图像分割（ADE20K），显示了稳定性和显著的改进。我们还验证了其在CNN（ResNet）和Transformer（ViT、Swin、Vmamba）架构上的有效性。
引用
@article{arxiv.2406.08773,
title = {DenoiseRep: Denoising Model for Representation Learning},
author = {Zhengrui Xu and Guan'an Wang and Xiaowen Huang and Jitao Sang},
journal= {arXiv preprint arXiv:2406.08773},
year = {2024}
}
备注
Accepted by NeurIPS 2024 (Oral)