面向少样本学习的帕累托自监督训练
计算机视觉与模式识别
2021-04-20 v2
摘要
少样本学习（FSL）旨在以极少监督快速泛化到新概念，而自监督学习（SSL）构建直接从无标签数据计算的监督信号。利用这两种方式的互补性，少样本辅助学习近期受到大量关注以应对少标签数据。先前工作受益于主任务（FSL）与辅助任务（SSL）间共享归纳偏置，其中任务的共享参数通过最小化任务损失的线性组合来优化。然而，选择合适的权重以平衡任务并减少任务冲突具有挑战性。为整体处理该问题，我们提出一种名为帕累托自监督训练（PSST）的面向 FSL 新方法。PSST 显式地将少样本辅助问题分解为具有不同权衡偏好的多个约束多目标子问题，并识别出主任务取得最佳性能的偏好区域。随后，提出一种有效的偏好帕累托探索，以在该偏好区域内找到一组最优解。在多个公开基准数据集上的大量实验通过达到最先进性能验证了我们的方法的有效性。
引用
@article{arxiv.2104.07841,
title = {Pareto Self-Supervised Training for Few-Shot Learning},
author = {Zhengyu Chen and Jixie Ge and Heshen Zhan and Siteng Huang and Donglin Wang},
journal= {arXiv preprint arXiv:2104.07841},
year = {2021}
}
备注
11 pages