FuNNscope：用于交互式探索全连接神经网络损失景观的可视化显微镜

尽管神经网络在各个领域得到了有效应用，但其许多方面仍知之甚少。研究神经网络特性的一个重要途径是探索损失景观。然而，大多数模型产生的高维非凸景观难以可视化。我们讨论并扩展了基于一维和二维切片的现有可视化方法，提出了一种新方法，通过使用具有可解释坐标轴的图表来近似实际的损失景观几何结构。基于小神经网络上的观察可推广到更复杂系统并为我们提供有益见解这一假设，我们专注于权重数量为数十个的小模型，这使得计算代价低廉的实验和交互式仪表盘的使用成为可能。我们观察到零向量周围的对称性、不同层对全局景观的影响、极小点附近不同的权重敏感性，以及梯度下降如何穿越高损失障碍。用户研究得出了平均 SUS（系统可用性量表）分数及改进建议，并开辟了若干可能的应用场景，如自编码器和集成网络。