神经网络中的知识演化
计算机视觉与模式识别
2021-03-10 v1 人工智能
机器学习
摘要
深度学习依赖于大量数据语料(有标注或无标注)的可用性。因此，一个具有挑战性且未解决的问题是：如何在相对较小的数据集上训练深度网络？为应对该问题，我们提出一种受演化启发的训练方法来提升在相对小数据集上的性能。知识演化(KE)方法将一个深度网络拆分为两个假设：拟合假设与重置假设。我们通过多代扰动重置假设，迭代地演化拟合假设内部的知译。该方法不仅提升性能，还学习到一个推理代价更小的精简网络。KE可无缝集成于普通卷积网络与残差卷积网络。KE同时减轻了过拟合与数据收集负担。我们在多种网络架构与损失函数上评估了KE。我们使用相对较小的数据集(如CUB-200)与随机初始化的深度网络评估KE。KE在state-of-the-art基线上取得了21%的绝对提升幅度。这一性能提升伴随着推理代价相对降低73%。KE在分类与度量学习基准上取得了state-of-the-art结果。代码见 http://bit.ly/3uLgwYb
引用
@article{arxiv.2103.05152,
title = {Knowledge Evolution in Neural Networks},
author = {Ahmed Taha and Abhinav Shrivastava and Larry Davis},
journal= {arXiv preprint arXiv:2103.05152},
year = {2021}
}
备注
CVPR Oral 2021