Penzai + Treescope：用于解释、可视化和编辑模型的数据工具包

今天的大量机器学习研究都涉及对训练后的模型进行解释、修改或可视化。我提出了 Penzai，这是一个旨在通过将模型表示为简单数据结构来简化模型操作的神经网络库，以及 Treescope，这是一个交互式的漂亮打印器和数组可视化器，可以可视化模型的输入/输出以及模型本身。Penzai 的模型是使用声明式组合子构建的，这些组合子在模型对象本身的结构中公开模型的前向传播，并使用命名轴确保每个操作在语义上是有意义的。通过 Penzai 的树形编辑选择器，用户可以插入和替换模型组件，从而对中间值进行干预或对模型结构进行其他编辑。用户然后可以通过使用 Treescope 可视化修改后的模型来获得即时反馈。我描述了 Penzai 和 Treescope 的动机和主要功能，并讨论了将模型视为数据所能实现的各种分析和干预，这些分析和干预可以作为数据结构转换实现，而无需模型设计人员添加显式挂钩。