流形学习视角下的深度神经网络架构
机器学习
2023-06-07 v1 人工智能
计算机视觉与模式识别
代数拓扑
摘要
尽管深度学习在多个领域的应用中取得显著进展，对神经网络模型学习过程的解释仍是一个重要的开放问题。本文旨在从几何与拓扑角度对神经网络架构进行全面比较与描述。我们关注神经网络的内部表示，以及数据流形在不同层上拓扑与几何变化的动态过程。本文中，我们运用拓扑数据分析（TDA）与持续同调分形维数的概念。我们展示了在 CV 与 NLP 任务中，针对多种数据集以及卷积神经网络（CNN）架构与 Transformers 配置的大量实验。我们的工作为在几何深度学习框架内发展可解释与可理解 AI 这一重要领域作出了贡献。
引用
@article{arxiv.2306.03406,
title = {Deep neural networks architectures from the perspective of manifold learning},
author = {German Magai},
journal= {arXiv preprint arXiv:2306.03406},
year = {2023}
}
备注
11 pages, 12 figures, PRAI2023. arXiv admin note: substantial text overlap with arXiv:2204.08624