探索元学习的有效性：揭示 MAML 在数据多样性利用上的优势
机器学习
2025-01-22 v2 人工智能
计算机视觉与模式识别
摘要
目前，数据和模型规模主导着超大规模强大模型训练中的叙事。然而，关于训练数据集其他属性对模型性能影响的探索仍不足。我们假设数据多样性会影响视觉模型的性能。我们的研究表明，测试准确率与数据多样性之间存在正相关，这为进一步研究数据集属性（超越规模）提供了论据。我们对十二个流行视觉数据集（如 Omniglot、CIFAR-FS、Aircraft）上的预训练和模型无关元学习方法进行分析，包括不同内梯度步数和监督学习的 MAML 变体及五种模型配置。我们发现，准确率与数据多样性之间存在中等到强烈的正相关（R²：0.15-0.42），损失与多样性之间存在较弱但显著的相关性（R²：~0.2）。这些发现支持我们的假设，展示了数据多样性如何影响模型性能的深入探索的前景。这一初始研究突显了（Task2Vec）数据多样性作为大规模学习领域日益演进的重要衡量标准的潜力，并强调了理解数据集对于构建更强大和更具可泛性的模型至关重要。
引用
@article{arxiv.2501.08506,
title = {Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training},
author = {Kavita Selva and Satita Vittayaareekul and Brando Miranda},
journal= {arXiv preprint arXiv:2501.08506},
year = {2025}
}