面向自监督食物预训练的特征抑制对比方法
计算机视觉与模式识别
2023-10-10 v3
摘要
以往大多数分析食物图像的方法都依赖于大量标注的数据集，由于此类图像多样且复杂，导致了巨大的人工标注开销。受对比自监督方法在利用无标签数据方面有效性的启发，我们探索将这些技术应用于无标签食物图像。在对比自监督方法中，通过数据增强从一幅图像随机生成两个视图。然而，对于食物图像，两个视图往往包含相似的有效信息内容，导致较大的互信息，从而阻碍对比自监督学习的效能。为解决该问题，我们提出特征抑制对比（FeaSC）以减少视图间的互信息。由于两个视图的相似内容在特征图中较为显著或具有高度响应，所提出的 FeaSC 采用响应感知方案以无监督方式定位显著特征。通过抑制一个视图中的部分显著特征而保持另一对比视图不变，两个视图间的互信息得以降低，从而提升自监督食物预训练的对比学习有效性。作为一种即插即用模块，所提方法在四个公开食物识别数据集上使 BYOL 和 SimSiam 的分类准确率稳定提升 1.70% ∼ 6.69%。在下游分割任务上也取得了优越结果，证明了所提方法的有效性。
引用
@article{arxiv.2308.03272,
title = {Feature-Suppressed Contrast for Self-Supervised Food Pre-training},
author = {Xinda Liu and Yaohui Zhu and Linhu Liu and Jiang Tian and Lili Wang},
journal= {arXiv preprint arXiv:2308.03272},
year = {2023}
}
备注
Accepted by ACM MM 2023