DUEL：用于自监督学习的基于工作记忆的自适应重复消除方法
机器学习
2022-11-01 v1 人工智能
摘要
在自监督学习（SSL）中，已知目标数据与其负样本属于同一类的碰撞频繁出现会降低性能。尤其在如爬取数据或机器人采集的观测等真实世界数据中，由于数据中的重复项，碰撞可能更常发生。为处理该问题，我们主张从记忆中自适应去偏的分布采样负样本，比直接从有偏数据集采样使模型更稳定。本文受人类工作记忆启发，引入一种带有自适应重复消除（DUEL）的新型SSL框架。所提框架成功防止了下游任务性能因剧烈的类别间不平衡而退化。
引用
@article{arxiv.2210.17052,
title = {DUEL: Adaptive Duplicate Elimination on Working Memory for Self-Supervised Learning},
author = {Won-Seok Choi and Dong-Sig Han and Hyundo Lee and Junseok Park and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2210.17052},
year = {2022}
}
备注
9 pages, 5 figures, submitted to NeurIPS 2022 Workshop on Self-supervised Learning: Theory and Practice.(Accepted, https://sslneurips22.github.io/)