神经电路图：用于深度学习架构交流、实现和分析的鲁棒图表

图表至关重要。不幸的是，深度学习社区没有标准的架构图表绘制方法。当前的线性代数符号和临时图表的组合未能提供理解架构所有细节所需的精度。然而，这些细节对于忠实的实现、数学分析、进一步创新和伦理保证至关重要。我提出了神经电路图，这是一种专为满足深度学习架构交流需求而设计的图形语言。神经电路图自然地跟踪数据排列的变化，精确地展示操作如何在轴上广播，并显示线性操作的关键并行行为。现有图表绘制方法的一个遗留问题是无法同时表达轴的细节和数据的自由排列，而神经电路图解决了这一问题。其组合结构类似于代码，在图表和实现之间建立了紧密的对应关系。在这项工作中，我向机器学习研究人员介绍了神经电路图。在介绍神经电路图之后，我涵盖了一系列架构以展示其效用并培养熟悉度。这包括 Transformer 架构、卷积（及其难以解释的扩展）、残差网络、U-Net 和视觉 Transformer。我包含了一个 Jupyter notebook，提供了图表与代码之间紧密对应关系的证据。最后，我使用神经电路图检查了反向传播。我展示了它们在提供数学洞察力以及分析算法的时间和空间复杂性方面的效用。