局部对比学习
机器学习
2018-02-13 v1 人工智能
计算机视觉与模式识别
摘要
从小数据学习深度模型仍是一个开放且具有挑战性的问题。我们关注基于少量训练样本的深度学习一次性分类。我们提出了一种称为局部对比学习(LCL)的新型深度学习方法,其关键洞见源于人类认知行为:人类通过在特定情境中对比该情境中的物体或记忆中的物体来识别对象。LCL用于训练一个深度模型,该模型可将待识别样本与若干随机抽取并打乱的对比样本进行对照。在Omniglot上的一次性分类任务中,基于LCL的深层模型具有122层和194万参数,仅在仅含60类、每类20个样本的小型数据集上训练,便取得了97.99%的准确率,优于人类以及由在964类上训练的贝叶斯程序学习(BPL)所确立的当前最优水平。LCL是一个基础性思路,可用于缓解因训练样本缺乏而导致的参数模型过拟合。
引用
@article{arxiv.1802.03499,
title = {Local Contrast Learning},
author = {Chuanyun Xu and Yang Zhang and Xin Feng and YongXing Ge and Yihao Zhang and Jianwu Long},
journal= {arXiv preprint arXiv:1802.03499},
year = {2018}
}
备注
10 pages, 4 figures