面向半监督与监督学习的感兴趣区域正则化
计算机视觉与模式识别
2019-05-22 v1 机器学习
机器学习
摘要
我们提出ROI正则化（ROIreg）作为一种用于图像分类的半监督学习方法。ROIreg关注将未标记数据样本x输入卷积神经网络（CNN）后所得后验概率分布g(x)的最大概率。ROIreg将x的像素集合划分为多个块，并对每个块评估其对最大概率的贡献度。通过用随机图像替换贡献度相对较小的块，生成掩码数据样本x_ROI。然后，ROIreg训练CNN，使g(x_ROI)尽可能不偏离g(x)。因此，可以说ROIreg进一步精炼了CNN的分类能力。另一方面，作为优秀半监督学习方法的虚拟对抗训练（VAT）通过在使g(x)变化最大的方向上扰动x来生成数据样本x_VAT，然后训练CNN使g(x_VAT)尽可能不偏离g(x)。因此，VAT可说是一种改善CNN弱点的的方法。由此可见，ROIreg与VAT具有互补的训练效果。事实上，VAT与ROIreg的组合比单独使用VAT或ROIreg取得了更好的结果。该组合还在“带与不带数据增强的SVHN”和“不带数据增强的CIFAR-10”上改进了当前最优（SOTA）结果。我们还提出一种称为ROI增强（ROIaug）的方法，作为在监督学习中将ROIreg应用于数据增强的方法。不过，其中使用的评价函数不同于标准交叉熵。ROIaug提升了SVHN与CIFAR-10两者上监督学习的性能。最后，我们研究了当未标记数据中包含不属于分类类别的数据样本时，VAT及VAT+ROIreg的性能下降情况。
引用
@article{arxiv.1905.08615,
title = {ROI Regularization for Semi-supervised and Supervised Learning},
author = {Hiroshi Kaizuka and Yasuhiro Nagasaki and Ryo Sako},
journal= {arXiv preprint arXiv:1905.08615},
year = {2019}
}
备注
14 pages, 7 tables, 2 figures