基于 Bootstrap Your Own Latent 的自标注精炼用于鲁棒表示学习
计算机视觉与模式识别
2022-04-12 v1 人工智能
机器学习
摘要
在本工作中，我们致力于两个主要目标。首先，我们研究了批归一化（BN）层在称为 Bootstrap Your Own Latent（BYOL）的非对比表示学习框架中的重要性。我们进行了若干实验，得出结论：BN 层对于 BYOL 中的表示学习并非必要。此外，BYOL 仅从图像的正样本对中学习，而忽略了同一输入批次中其他语义相似的图像。针对第二个目标，我们引入了两种新的损失函数来确定同一输入图像批次中的语义相似对，并缩小其表示间的距离。这些损失函数为交叉余弦相似度损失（CCSL）与交叉 sigmoid 相似度损失（CSSL）。使用所提损失函数，我们能够在 STL10 数据集上通过 CCSL 损失训练 BYOL 框架（76.87%）超越原始 BYOL（71.04%）的性能。使用 CSSL 损失训练的 BYOL 表现与原始 BYOL 相当。
引用
@article{arxiv.2204.04545,
title = {Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent},
author = {Siddhant Garg and Dhruval Jain},
journal= {arXiv preprint arXiv:2204.04545},
year = {2022}
}