用于少样本学习的转导式信息最大化
机器学习
2020-10-26 v3 计算机视觉与模式识别
机器学习
摘要
我们提出用于少样本学习的转导式信息最大化（TIM）。我们的方法在给定少样本任务上最大化查询特征与其标签预测之间的互信息，同时结合基于支撑集的监督损失。此外，我们针对互信息损失提出了一种新的交替方向求解器，与基于梯度的优化相比，它大幅加快了转导式推理的收敛速度，同时达到相似的精度。TIM 推理是模块化的：它可用于任何基础训练特征提取器之上。遵循标准转导式少样本设定，我们的综合实验表明，TIM 在各类数据集和网络上显著优于最先进的方法，且其使用方式是在以简单交叉熵在基类上训练得到的固定特征提取器之上，无需借助复杂的元学习方案。它在所有成熟的少样本基准以及更具挑战性的域偏移和更多类别的场景中，相较表现最佳的方法持续带来 2% 至 5% 的精度提升。
引用
@article{arxiv.2008.11297,
title = {Transductive Information Maximization For Few-Shot Learning},
author = {Malik Boudiaf and Ziko Imtiaz Masud and Jérôme Rony and José Dolz and Pablo Piantanida and Ismail Ben Ayed},
journal= {arXiv preprint arXiv:2008.11297},
year = {2020}
}
备注
NeurIPS 2020. Code available at https://github.com/mboudiaf/TIM