通过排序学习：具有组排序约束的自监督学习
计算机视觉与模式识别
2023-08-22 v2
摘要
对比学习已成为从无标签数据中学习表征的重要工具，主要依赖于最小化正数据对（例如同一图像的不同视图）之间的距离并最大化负数据对（例如不同图像的不同视图）之间的距离的思想。本文提出对比学习目标的一种新变体——组排序约束（GroCo），它利用对正负对距离进行排序的思想，并基于有多少个正对比负对具有更大距离从而未被正确排序来计算相应损失。为此，GroCo 损失基于可微排序网络，其通过将可微置换矩阵（由对给定分数集排序产生）匹配到相应的真实置换矩阵，实现带排序监督的训练。将这一思想应用于多正多负对的组级预排序输入，可引入 GroCo 损失，并隐式强调强正样本与强负样本，从而更好地优化局部邻域。我们在各种自监督学习基准上评估所提公式，表明其不仅比原始对比学习取得改进结果，而且在线性探测中与同类方法性能相当，并在 k-NN 性能上超越当前方法。
引用
@article{arxiv.2301.02009,
title = {Learning by Sorting: Self-supervised Learning with Group Ordering Constraints},
author = {Nina Shvetsova and Felix Petersen and Anna Kukleva and Bernt Schiele and Hilde Kuehne},
journal= {arXiv preprint arXiv:2301.02009},
year = {2023}
}
备注
Published at ICCV 2023, Code @ https://github.com/ninatu/learning_by_sorting