CLAWS：基于硬注意力与弱监督的对比学习
计算机视觉与模式识别
2022-02-02 v2 机器学习
摘要
在无人工监督下学习有效视觉表征是计算机视觉中长期存在的问题。自监督学习算法的最新进展利用了对比学习，例如SimCLR等方法对图像施加一组增强，并在两幅增强图像间最小化对比损失。本文提出CLAWS，一种标注高效的学习框架，旨在解决大规模农业数据集的手动标注问题，并具有异常检测与植物生长分析等潜在应用。CLAWS采用受SimCLR启发的网络主干与弱监督，以探究类簇内对比学习的效果。此外，我们在使用对比损失函数最大化图像对间一致性之前，向裁剪后的输入图像注入硬注意力掩码。该掩码迫使网络聚焦于相关目标特征并忽略背景特征。我们使用包含227,060个样本、涵盖11种不同作物类别的农业数据集，比较了有监督SimCLR与CLAWS的结果。实验与广泛评估表明，CLAWS取得了0.7325的具竞争力NMI分数。此外，CLAWS能以最小参数调优生成超大数据集的低维表征，并形成定义良好的簇，从而适于使用高斯混合模型等高效、透明且高度可解释的聚类方法。
引用
@article{arxiv.2112.00847,
title = {CLAWS: Contrastive Learning with hard Attention and Weak Supervision},
author = {Jansel Herrera-Gerena and Ramakrishnan Sundareswaran and John Just and Matthew Darr and Ali Jannesari},
journal= {arXiv preprint arXiv:2112.00847},
year = {2022}
}