DRESS：基于解耦表示的自监督元学习方法用于多样化任务
机器学习
2025-03-14 v1 计算机视觉与模式识别
摘要
元学习是解决少样本学习任务的强有力方法之一。然而，近期研究表明，仅进行通用编码器的预训练可能超越元学习算法。在本文中，我们首先讨论了为何在这些少样本学习实验中元学习难以脱颈而出，假设原因在于少样本学习任务缺乏多样性。我们提出DRESS（Disentangled REpresentation-based Self-Supervised meta-Learning），一种无任务依赖的基于解耦表示的自监督元学习方法，使其能在高度多样化的少样本学习任务上实现快速模型适应。具体而言，DRESS利用解耦表示学习创建自监督任务，以驱动元训练过程。此外，我们还提出一种基于类别划分的度量，用于直接在输入空间上量化任务多样性。我们通过在具有多个变化因素且复杂度不同的数据集上进行实验，验证了DRESS的有效性。结果表明，DRESS在大多数数据集和任务设置下均能优于对手方法。通过本文，我们主张重新审视任务适应研究的合适设置，旨在通过解耦表示重新激发对元学习解决少样本学习任务潜力的兴趣。
引用
@article{arxiv.2503.09679,
title = {DRESS: Disentangled Representation-based Self-Supervised Meta-Learning for Diverse Tasks},
author = {Wei Cui and Tongzi Wu and Jesse C. Cresswell and Yi Sui and Keyvan Golestan},
journal= {arXiv preprint arXiv:2503.09679},
year = {2025}
}
备注
9 pages, 6 figures. An earlier version of the paper has been presented at the Self-Supervised Learning workshop at the 2024 NeurIPS conference