中文

模拟深度学习的前景:最新进展、挑战与机遇

机器学习 2024-06-21 v1 人工智能 计算机视觉与模式识别 机器学习

摘要

当今人工智能(AI)的大部分应用都利用人工神经网络,这些是专为通过从数据中学习来识别模式和解决复杂问题而设计的复杂计算模型。然而,在设备计算加权求和以进行前向传播和反向传播优化时,特别是对于深度神经网络或具有大量层的网络,会出现主要瓶颈。为了进一步推动该领域的发展,有必要探索实现神经网络的不同方法。虽然在AI硬件的两种方向(模拟和数字)方面都有大量研究,但现有大量调查工作缺乏对模拟深度学习进展的讨论。为此,我们尝试评估和阐述模拟深度学习的优缺点,以及在深度学习方面的当前进展。本文重点在于对八种不同模拟深度学习方法的全面考察,涵盖多个关键参数,包括实现的准确率水平、应用领域、算法进展、计算速度以及能源效率和功耗的考虑。我们还识别了使用这些硬件设备实施的神经网络实验,并讨论了不同模拟深度学习方法所实现的比较性能,以及对其当前局限性的分析。总体而言,我们发现模拟深度学习在未来的消费级应用中具有巨大的潜力,但在可扩展性方面仍需迈过长时间的路。大多数当前实现更多是概念验证性质,并尚未实际部署用于大型模型。

关键词

引用

@article{arxiv.2406.12911,
  title  = {The Promise of Analog Deep Learning: Recent Advances, Challenges and Opportunities},
  author = {Aditya Datar and Pramit Saha},
  journal= {arXiv preprint arXiv:2406.12911},
  year   = {2024}
}