在无基类数据情况下实现更优的广义少样本学习
机器学习
2022-12-01 v2 人工智能
计算机视觉与模式识别
摘要
本文引入并研究了零基类广义少样本学习(zero-base GFSL)，这是少样本学习问题的一个极端但实用的版本。受基类数据因隐私或伦理问题不可获取情形的启发，零基类GFSL的目标是在无任何基类样本的情况下，将新类的少量样本知识新近地整合进预训练模型。根据我们的分析，我们发现与基类相比，新类权重分布的均值和方差均未被恰当建立。现有GFSL方法试图使权重范数平衡，我们发现这仅有助于方差部分，却忽视了权重均值尤其对新类的重要性，导致即便有基类数据，GFSL问题性能仍受限。本文中，我们提出了一种简单而有效的归一化方法克服该局限，其可在不使用任何基类样本的情况下有效控制新类权重分布的均值与方差，从而在新类和基类上均取得满意性能。我们的实验结果有些令人惊讶地表明，所提出的零基类GFSL方法虽未利用任何基类样本，甚至优于充分利用基类数据的现有GFSL方法。我们的实现见：https://github.com/bigdata-inha/Zero-Base-GFSL。
引用
@article{arxiv.2211.16095,
title = {Better Generalized Few-Shot Learning Even Without Base Data},
author = {Seong-Woong Kim and Dong-Wan Choi},
journal= {arXiv preprint arXiv:2211.16095},
year = {2022}
}
备注
Accepted in AAAI-2023