DUEL：用于自监督类别不平衡学习的主动记忆去重
机器学习
2024-02-15 v1 人工智能
摘要
近期的机器学习算法基于精心整理的数据集开发，这通常需要大量的成本和资源。另一方面，直接使用原始数据往往会导致对频繁出现的类别信息过拟合。为了经济高效地解决类别不平衡问题，我们在新颖的框架 DUEL（去重消除）中，提出了一种在自监督预训练期间进行主动数据过滤的过程。该框架集成了一个受人类工作记忆启发的主动记忆，并引入了独特性信息来衡量记忆中数据的多样性，以同时优化特征提取器和记忆。DUEL 策略将重复度最高的数据替换为新样本，旨在增强记忆中的独特性信息，从而缓解类别不平衡。我们验证了 DUEL 框架在类别不平衡环境中的有效性，展示了其鲁棒性，并在下游任务中提供了可靠的结果。我们还通过各种指标和可视化分析了 DUEL 策略在训练过程中的作用。
引用
@article{arxiv.2402.08963,
title = {DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning},
author = {Won-Seok Choi and Hyundo Lee and Dong-Sig Han and Junseok Park and Heeyeon Koo and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2402.08963},
year = {2024}
}
备注
Accepted as a full paper at AAAI 2024: The 38th Annual AAAI Conference on Artificial Intelligence (Main Tech Track). 7 pages (main paper), 2 pages (references), 11 pages (appendix) each