可视化神经网络的 PHATE 演化
机器学习
2019-12-03 v1 神经与进化计算
机器学习
摘要
理解某些神经网络为何及如何优于其他网络，是指导未来网络架构和优化方法发展的关键。为此，我们引入了一种新颖的可视化算法来揭示此类网络的内部几何结构：多切片 PHATE（M-PHATE），这是首个被明确设计用于可视化神经网络隐藏数据表示在训练过程中如何演变的方法。我们证明，我们的可视化提供了超越简单全局度量（即验证损失和准确率）的直观、详细的学习动态摘要，且无需访问验证数据。此外，与基于标准降维方法（例如 ISOMAP、t-SNE）的可视化相比，M-PHATE 更好地捕捉了隐藏单元的动力学和群落结构。我们通过两个示例展示 M-PHATE：持续学习和泛化。在前者中，M-PHATE 可视化展示了“灾难性遗忘”的机制，这是任务切换情境中学习的一个主要挑战。在后者中，我们的可视化揭示了隐藏单元间异质性的增加如何与改进的泛化性能相关联。M-PHATE 的实现以及用于重现本文图的脚本可在 https://github.com/scottgigante/M-PHATE 获取。
引用
@article{arxiv.1908.02831,
title = {Visualizing the PHATE of Neural Networks},
author = {Scott Gigante and Adam S. Charles and Smita Krishnaswamy and Gal Mishne},
journal= {arXiv preprint arXiv:1908.02831},
year = {2019}
}