Multiway Multislice PHATE：通过训练可视化 RNN 的隐藏动态
机器学习
2026-03-26 v2
摘要
循环神经网络（RNN）是序列数据分析的广泛使用工具；然而，它们仍常常被视为黑盒。可视化 RNN 的内部动态是理解其功能原理和开发更好的架构与优化策略的关键步骤。以往的研究通常只强调训练后的网络表示，忽略了这些表示在学习过程中的演变。在此，我们提出 Multiway Multislice PHATE（MM-PHATE），一种基于图的嵌入方法，用于在 RNN 跨越的多个维度（时间、训练周期和单元）上可视化 RNN 隐藏状态的演变。在受控的合成基准和真实的 RNN 应用中，MM-PHATE 保留了单元间的隐藏表示社区结构，并揭示了表示几何在训练阶段的变化。在跨越多个分岔族和平滑状态空间扭曲的受控合成系统中，MM-PHATE 恢复了定性的动态进展，同时区分了族级别的差异。在任务训练的 RNN 中，该嵌入识别了训练期间的信息处理和压缩相关阶段，且时间分辨的几何和基于熵的摘要与线性探针、时间步消融以及标签-状态互信息相一致。这些结果表明，MM-PHATE 提供了一种直观且全面的方法来检查训练过程中的 RNN 隐藏动态，并更好地理解模型架构和学习动态如何与性能相关联。
引用
@article{arxiv.2406.01969,
title = {Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training},
author = {Jiancheng Xie and Lou C. Kohler Voinov and Noga Mudrik and Gal Mishne and Adam Charles},
journal= {arXiv preprint arXiv:2406.01969},
year = {2026}
}
备注
Accepted at TMLR 2026. This version includes additional experiments on bifurcation and warp perturbations, revised figures, and expanded quantitative analysis. Published version: https://openreview.net/forum?id=9Yr4V7iZsq