深度迁移学习及其最新进展综述
机器学习
2023-03-15 v2 人工智能
计算机视觉与模式识别
摘要
在过去二十年里，深度学习已成为许多机器学习问题的解决方案。然而，它伴随着两个主要限制：对大量标注数据的依赖和训练成本。深度学习中的迁移学习，即深度迁移学习（DTL），试图通过在目标数据/任务训练中重用从源数据/任务获得的知识来减少这种依赖和成本。大多数应用的DTL技术是基于网络/模型的方法。这些方法减少了深度学习模型对大量训练数据的依赖，并大幅降低了训练成本。因此，研究人员在疫情初期利用DTL技术，以最少的数据在胸部X光片上高精度地检测出Covid-19感染。此外，训练成本的降低使得DTL在资源有限的边缘设备上变得可行。如同任何新的进展，DTL方法有其自身的局限性，成功的迁移取决于针对不同场景的某些调整。在本文中，我们回顾了深度迁移学习的定义、分类以及众所周知的方法。然后，我们通过回顾过去五年中应用的最新DTL技术来研究DTL方法。此外，我们回顾了DTL的一些实验分析，以学习在不同场景下应用DTL的最佳实践。此外，还讨论了DTL的局限性（灾难性遗忘困境和过度偏置的预训练模型），以及可能的解决方案和研究趋势。
引用
@article{arxiv.2201.09679,
title = {A Review of Deep Transfer Learning and Recent Advancements},
author = {Mohammadreza Iman and Khaled Rasheed and Hamid R. Arabnia},
journal= {arXiv preprint arXiv:2201.09679},
year = {2023}
}
备注
18 pages, 2 figures, 1 table