一次性元学习中多任务权重优化的同时扰动方法
机器学习
2022-10-04 v3 人工智能
计算机视觉与模式识别
摘要
元学习方法旨在构建能够快速适应低数据环境下新任务的学习算法。此类算法最具挑战性的基准之一为一次性学习问题。在该设定下，许多算法面临与有限训练样本量相关的不确定性，可能导致过拟合。该问题可通过向模型提供额外信息来解决。最高效的方式之一是多任务学习。本文中我们研究标准元学习流程的一种改进。所提方法在同一损失函数中同时利用多个元训练任务的信息。这些任务在损失函数中的影响由逐任务权重控制。权重的恰当优化对训练及模型最终质量有重大影响。我们提出并研究了使用同时扰动随机逼近（SPSA）族中的方法优化元训练任务权重。我们还展示了随机逼近相较于基于梯度方法的优越性。所提多任务改进可应用于几乎所有元学习方法。我们在 CIFAR-FS、FC100、miniImageNet 与 tieredImageNet 一次性学习基准上，于模型无关元学习（MAML）与原型网络算法中研究了该改进的应用。在这些实验中，多任务改进相较原始方法展现出提升。本文首次将 SPSA-Tracking 算法用于多任务权重优化，其显示出最大的准确率提升，可与最先进的元学习方法相竞争。我们的代码已在线公开。
引用
@article{arxiv.2110.13188,
title = {Simultaneous Perturbation Method for Multi-Task Weight Optimization in One-Shot Meta-Learning},
author = {Andrei Boiarov and Kostiantyn Khabarlak and Igor Yastrebov},
journal= {arXiv preprint arXiv:2110.13188},
year = {2022}
}
备注
Accepted at ICONIP 2022