蒸馏解释集成用于图像分割模型的弱监督预训练
计算机视觉与模式识别
2022-07-08 v1 机器学习
摘要
尽管微调预训练网络已成为训练图像分割模型的流行方式，此类图像分割的骨干网络常使用图像分类源数据集（如ImageNet）进行预训练。虽然图像分类数据集能为骨干网络提供丰富的视觉特征与判别能力，但它们无法以端到端方式充分预训练目标模型（即骨干+分割模块）。由于分类数据集中缺乏分割标签，分割模块在微调过程中只能随机初始化。在我们的工作中，我们提出一种利用伪语义分割标签（PSSL）的方法，以基于分类数据集实现图像分割模型的端到端预训练。PSSL的灵感来源于如下观察：通过CAM、SmoothGrad和LIME等解释算法获得的分类模型解释结果，会接近视觉对象的像素簇。具体而言，对每幅图像，通过解释分类结果并聚合从多个分类器查询得到的解释集成来降低单一模型引起的偏差，从而获得PSSL。利用ImageNet中每幅图像的PSSL，所提方法采用加权分割学习流程对分割网络进行整体预训练。实验结果表明，以带PSSL的ImageNet作为源数据集，所提端到端预训练策略在CamVid、VOC-A、VOC-C、ADE20K和CityScapes等多项分割任务上成功提升了PSPNet-ResNet50、DeepLabV3-ResNet50和OCRNet-HRNetW18等多种分割模型的性能，且提升显著。源代码见https://github.com/PaddlePaddle/PaddleSeg。
引用
@article{arxiv.2207.03335,
title = {Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training of Image Segmentation Models},
author = {Xuhong Li and Haoyi Xiong and Yi Liu and Dingfu Zhou and Zeyu Chen and Yaqing Wang and Dejing Dou},
journal= {arXiv preprint arXiv:2207.03335},
year = {2022}
}
备注
Accepted by Machine Learning