一种用于少样本学习的基于 epoch 级经验贝叶斯的集成方法
计算机视觉与模式识别
2022-02-23 v6 机器学习
机器学习
摘要
少样本学习旨在用少量样本训练高效的预测模型。训练数据的缺乏导致模型性能差，做出高方差或低置信度的预测。在本文中，我们提出元学习 epoch 级经验贝叶斯模型集成（E3BM）以实现鲁棒预测。"epoch 级"指每个训练 epoch 都有一个贝叶斯模型，其参数被专门学习并部署。"经验"指超参数（例如用于学习和集成 epoch 级模型的超参数）由以任务特定数据为条件的超先验学习器生成。我们在元学习范式下通过考虑归纳式 vs. 直推式、以及 epoch 相关 vs. epoch 无关，引入了四种超先验学习器。我们在三个具有挑战性的基准 miniImageNet、tieredImageNet 和 FC100 上对五类少样本任务进行了大量实验，并使用 epoch 相关直推式超先验学习器取得了最佳性能，其捕获了最丰富的信息。我们的消融研究表明，"epoch 级集成"与"经验"均提升了模型性能的高效性与鲁棒性。
引用
@article{arxiv.1904.08479,
title = {An Ensemble of Epoch-wise Empirical Bayes for Few-shot Learning},
author = {Yaoyao Liu and Bernt Schiele and Qianru Sun},
journal= {arXiv preprint arXiv:1904.08479},
year = {2022}
}