DONE：基于分位数权重印记的直接单样本学习
机器学习
2022-11-03 v3
摘要
从单个样本学习新概念是人脑的优越功能，并且在机器学习领域作为单样本学习任务正受到关注。在本文中，我们提出了该任务最简单的方法之一，采用非参数权重印记，名为直接单样本学习（Direct ONE-shot learning, DONE）。DONE 将新类别添加到预训练深度神经网络（DNN）分类器中，既不需要训练优化，也不需要修改预训练 DNN。DONE 受 Hebbian 理论启发，直接将从属于新增加类别的数据获得的最后全连接层的神经活动输入，作为新类别的新提供输出神经元的突触权重，并通过分位数归一化将神经活动的所有统计特性转化为突触权重的统计特性。DONE 仅需一次推理即可学习新概念，其过程简单、确定，无需参数调优和超参数。DONE 克服了现有权重印记方法的一个严重问题，即依 DNN 不同会干扰原始类别图像的分类。DONE 的性能完全取决于用作骨干模型的预训练 DNN 模型，我们确认当前训练良好的骨干模型上的 DONE 具有不错的准确率。
引用
@article{arxiv.2204.13361,
title = {It's DONE: Direct ONE-shot learning with quantile weight imprinting},
author = {Kazufumi Hosoda and Keigo Nishida and Shigeto Seno and Tomohiro Mashita and Hideki Kashioka and Izumi Ohzawa},
journal= {arXiv preprint arXiv:2204.13361},
year = {2022}
}
备注
12 pages, 5 figures