用于自监督学习的演化增强策略优化
计算机视觉与模式识别
2023-09-19 v2 人工智能
机器学习
神经与进化计算
摘要
自监督学习（SSL）是一种无需人工标注数据即可预训练深度神经网络（DNNs）的机器学习算法。该学习技术的核心思想基于一个辅助阶段，亦称 pretext task，其中通过数据增强自动创建标注数据并用于预训练 DNN。然而，各 pretext task 的效果在文献中尚未被充分研究或比较。本文中，我们在受限设定下研究增强算子对自监督学习算法性能的贡献。我们提出一种演化搜索方法，用于优化 pretext task 中的数据增强流水线，并度量增强算子在多个 SOTA SSL 算法中的影响。通过将增强算子的不同组合编码于染色体中，借助演化优化机制寻求最优增强策略。我们进一步引入分析和解释优化后 SSL 算法性能的方法。结果表明，我们所提方法能找到超越 SSL 算法分类精度的解，证实了增强策略选择对 SSL 算法整体性能的影响。我们还比较了由演化搜索机制找到的最优 SSL 解，并展示了在两个视觉数据集上 pretext task 中批大小的影响。
引用
@article{arxiv.2303.01584,
title = {Evolutionary Augmentation Policy Optimization for Self-supervised Learning},
author = {Noah Barrett and Zahra Sadeghi and Stan Matwin},
journal= {arXiv preprint arXiv:2303.01584},
year = {2023}
}