引导式迁移学习
机器学习
2023-03-29 v1
摘要
机器学习需要大量的数据和计算。此外，模型所需的参数数量同样需要过度增长。因此，寻找能够减少这些资源需求的技术是明智的。在此，我们提出一种称为引导式迁移学习的方法。网络中的每个权重和偏置都有其自身的引导参数，该参数指示在学习新任务时允许此参数改变的程度。引导参数在初始侦察过程中学习得到。引导式迁移学习可减少对训练网络所需资源的消耗。在某些应用中，引导式迁移学习使网络能够从少量数据中学习。在其他情况下，参数数量较少的网络可以学习到原本只有更大网络才能学习的任务。当数据量、模型规模或计算资源可用性达到极限时，引导式迁移学习具有许多潜在应用。
引用
@article{arxiv.2303.16154,
title = {Guided Transfer Learning},
author = {Danko Nikolić and Davor Andrić and Vjekoslav Nikolić},
journal= {arXiv preprint arXiv:2303.16154},
year = {2023}
}