基于选择性数据对比的端侧自监督对比学习
机器学习
2021-06-08 v1
摘要
在模型部署到边缘设备后，期望这些设备能从无标签数据中学习以持续提升精度。对比学习已展现出从无标签数据中学习的巨大潜力。然而，在线输入数据通常非独立同分布（non-iid），且边缘设备的存储通常过于有限，难以存储来自不同数据类的足够具代表性数据。我们提出一种框架，从无标签输入流中自动选择最具代表性的数据，其仅需一个小型数据缓冲区即可进行动态学习。实验表明，精度与学习速度均得到大幅提升。
引用
@article{arxiv.2106.03796,
title = {Enabling On-Device Self-Supervised Contrastive Learning With Selective Data Contrast},
author = {Yawen Wu and Zhepeng Wang and Dewen Zeng and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:2106.03796},
year = {2021}
}