RotoGBML：面向基于梯度的元学习分布外泛化
计算机视觉与模式识别
2023-03-14 v1
摘要
基于梯度的元学习（GBML）算法能够通过迁移学到的元知识快速适应新任务，同时假设所有任务来自同一分布（分布内，ID）。然而在真实世界中，它们常遭受分布外（OOD）泛化问题，即任务来自不同分布。OOD 加剧了任务梯度在幅度和方向上的不一致，这为 GBML 通过最小化每个 minibatch 中任务梯度之和来优化元知识带来挑战。为解决该问题，我们提出 RotoGBML，一种同质化 OOD 任务梯度的新方法。RotoGBML 使用重加权向量动态将多样幅度平衡至公共尺度，并使用旋转矩阵将冲突方向旋转至彼此接近。为降低开销，我们使用特征而非网络参数来同质化梯度。在此基础上，为避免非因果特征（如背景）的干预，我们还提出不变自信息（ISI）模块以提取不变因果特征（如物体轮廓）。最终，任务梯度基于这些不变因果特征被同质化。实验表明 RotoGBML 在各种少样本图像分类基准上优于其他最先进方法。
引用
@article{arxiv.2303.06679,
title = {RotoGBML: Towards Out-of-Distribution Generalization for Gradient-Based Meta-Learning},
author = {Min Zhang and Zifeng Zhuang and Zhitao Wang and Donglin Wang and Wenbin Li},
journal= {arXiv preprint arXiv:2303.06679},
year = {2023}
}
备注
13 pages