Meta-Semi：一种用于半监督学习的元学习方法
机器学习
2024-10-30 v3 计算机视觉与模式识别
机器学习
摘要
近年来，基于深度学习的半监督学习（SSL）算法取得了有前景的结果。然而，它们往往引入多个可调超参数，在标注数据稀缺以致无法广泛搜索超参数的真实 SSL 场景中实用性较低。本文中，我们提出一种新颖的基于元学习的 SSL 算法（Meta-Semi），与标准监督深度学习算法相比仅需调一个额外超参数，即可在各种 SSL 条件下取得有竞争力的性能。我们首先定义一个元优化问题，通过动态重加权无标签样本（训练期间关联软伪标签）上的损失，来最小化标注数据上的损失。由于直接求解元问题计算密集，我们提出一种高效算法动态获得近似解。我们从理论上证明，在温和条件下 Meta-Semi 收敛到标注数据上损失函数的驻点。在实证上，Meta-Semi 在具有挑战性的半监督 CIFAR-100 和 STL-10 任务上显著优于 SOTA SSL 算法，并在 CIFAR-10 和 SVHN 上取得有竞争力的性能。
引用
@article{arxiv.2007.02394,
title = {Meta-Semi: A Meta-learning Approach for Semi-supervised Learning},
author = {Yulin Wang and Jiayi Guo and Shiji Song and Gao Huang},
journal= {arXiv preprint arXiv:2007.02394},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication