CNN 参数可重用性的探索
图像与视频处理
2020-09-21 v2 计算机视觉与模式识别
机器学习
摘要
近来，利用小数据训练网络已成为深度学习领域的热点话题。重用预训练参数是解决半监督与迁移学习问题最重要的策略之一。然而，这些方法成功的基本原因仍不清楚。在本文中，我们提出一种解决方案，该方案不仅能基于重用卷积核的性能判断给定网络是否可重用，还能基于重用相应参数的性能判断该给定网络哪些层的参数可被重用，并最终基于相应卷积核的均方根误差（RMSE）判断那些参数在目标任务中是否可重用。具体而言，我们定义 CNN 参数重用的成功取决于两个条件：第一，该网络是一个可重用网络；第二，源域与目标域卷积核之间的 RMSE 足够小。实验结果表明，当这些条件满足时，应用于目标任务的重用参数的性能得到显著提升。
引用
@article{arxiv.2008.03411,
title = {Exploring the parameter reusability of CNN},
author = {Wei Wang and Lin Cheng and Yanjie Zhu and Dong Liang},
journal= {arXiv preprint arXiv:2008.03411},
year = {2020}
}