基于分离指数的迁移学习中预训练深度神经网络的排序与剔除
机器学习
2020-12-29 v1 机器学习
摘要
预训练深度神经网络（DNNs）的自动排序减少了选择最优预训练 DNN 所需的时间，并提升了迁移学习中的分类性能。本文引入一种新颖算法，通过将一种名为分离指数（Separation Index, SI）的基于距离的直接复杂度度量应用于目标数据集来对预训练 DNN 进行排序。为此，首先给出了 SI 的背景，然后解释了自动排序算法。在该算法中，对通过预训练 DNN 特征提取部分的目标数据集计算 SI。然后，通过对计算出的 SI 降序排序，轻松地对预训练 DNN 进行排序。在此排序方法中，最佳 DNN 在目标数据集上产生最大 SI，而少数预训练 DNN 在其计算出的 SI 足够低时可能被剔除。所提算法的效率通过使用三个具有挑战性的数据集评估，包括 Linnaeus 5、乳腺癌图像（Breast Cancer Images）和 COVID-CT。对于前两个案例研究，所提算法的结果与按目标数据集上准确率训练的 DNN 排序完全吻合。对于第三个案例研究，尽管对目标数据使用了不同的预处理，该算法的排序与由分类准确率得出的排序具有高相关性。
引用
@article{arxiv.2012.13717,
title = {Ranking and Rejecting of Pre-Trained Deep Neural Networks in Transfer Learning based on Separation Index},
author = {Mostafa Kalhor and Ahmad Kalhor and Mehdi Rahmani},
journal= {arXiv preprint arXiv:2012.13717},
year = {2020}
}
备注
30 pages, 11 figures