一种用于不平衡少样本学习任务的最大对数似然方法
计算机视觉与模式识别
2022-12-09 v2 机器学习
摘要
少样本学习是机器学习中快速发展的研究领域,其目标仅使用一个或多个“少量”标注样本对未标注数据进行分类。神经网络通常训练为最小化标注样本与查询集之间的距离度量。早期的少样本方法使用情景训练过程将训练数据子采样为少样本批次。该训练过程与评价时的子采样相匹配。近来,常规监督训练结合余弦距离在少样本上取得了优越性能。尽管过去十年少样本方法多样,大多数方法仍依赖于训练网络潜在特征之间的余弦或欧氏距离层。在本工作中,我们研究了训练好的少样本特征的分布,并证明它们可大致近似为指数分布。在此指数分布假设下,我们提出了一种用于少样本架构的新最大对数似然度量。我们证明所提度量相对于常规相似性度量(如余弦、欧氏等)取得了更优的准确率,并达到了最先进的归纳少样本性能。此外,通过仔细组合多个度量可取得额外增益,且我们的方法均不需要后处理特征变换,而这是许多算法的常见做法。最后,我们展示了一种围绕我们的最大对数似然方法设计的新型迭代算法,在评估数据不平衡时达到了最先进的直推式少样本性能。我们的代码已公开于 https://github.com/samuelhess/MLL_FSL/。
引用
@article{arxiv.2211.14668,
title = {A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks},
author = {Samuel Hess and Gregory Ditzler},
journal= {arXiv preprint arXiv:2211.14668},
year = {2022}
}
备注
10 pages, 4 figures, 5 tables