面向单样本学习的任务自适应特征变换
机器学习
2023-04-17 v1
摘要
我们引入了一个简单的非线性嵌入适配层，它在固定的预训练特征之上针对单样本任务进行微调，显著改善了低样本情形下的直推式基于熵的推理。我们提出的范数诱导变换可理解为特征空间的一种重参数化，以任务特定的方式解耦不同类别的表示。它聚焦于相关特征维度，同时抑制非相关维度的影响，这些非相关维度可能在单样本设定中导致过拟合。我们还针对基于 K-means 聚类的少样本推理这一基本情形，对我们提出的特征变换给出了解释。此外，我们给出了 K-means 与熵最小化之间一个有趣的界优化联系。这强调了我们的特征变换在熵最小化背景下为何有用。我们报告了全面的实验，显示在各种单样本基准上的一致改进，优于近期最先进的方法。
引用
@article{arxiv.2304.06832,
title = {Task Adaptive Feature Transformation for One-Shot Learning},
author = {Imtiaz Masud Ziko and Freddy Lecue and Ismail Ben Ayed},
journal= {arXiv preprint arXiv:2304.06832},
year = {2023}
}