深度学习十年：七大架构综述
机器学习
2024-12-24 v1 人工智能
摘要
在过去十年中，深度学习从根本上重塑了人工智能的格局，在多个领域取得了显著成就。这些进展的核心是多层神经网络架构，它们擅长自动特征提取，从而显著提升了机器学习任务的性能。为了阐明这些进展并提供易于理解的指南，我们通过广泛的领域调查，对最具影响力的深度学习算法进行了全面概述。我们的讨论聚焦于关键架构，包括残差网络、Transformer、生成对抗网络、变分自编码器、图神经网络、对比语言-图像预训练以及扩散模型。我们详细介绍了它们的历史背景，阐述了其数学基础和算法原理，并探讨了后续的变体、扩展以及诸如训练方法、归一化技术和学习率调度等实际考量。除了历史和技术见解，我们还讨论了它们的应用、面临的挑战以及潜在的研究方向。本综述旨在为寻求进入前沿深度学习方法的新手以及转入这一快速发展领域的有经验研究人员提供实用指南。
关键词
引用
@article{arxiv.2412.16188,
title = {A Decade of Deep Learning: A Survey on The Magnificent Seven},
author = {Dilshod Azizov and Muhammad Arslan Manzoor and Velibor Bojkovic and Yingxu Wang and Zixiao Wang and Zangir Iklassov and Kailong Zhao and Liang Li and Siwei Liu and Yu Zhong and Wei Liu and Shangsong Liang},
journal= {arXiv preprint arXiv:2412.16188},
year = {2024}
}