LossLens：基于损失景观可视分析的机器学习诊断
机器学习
2024-12-19 v1
摘要
现代机器学习通常依赖于使用损失函数优化神经网络参数来学习复杂特征。除了训练之外，检查损失函数相对于网络参数的关系（即作为损失景观）可以揭示关于架构和学习过程的深刻见解。虽然可以使用多种方法刻画围绕单个解的损失景观局部结构，但损失景观的全局结构——包含对应于不同解的潜在众多局部极小值——在概念化和可视化方面仍然困难得多。为了解决这一困难，我们引入了 LossLens，一个多尺度探索损失景观的可视分析框架。LossLens 将全局和局部尺度的指标整合到一个综合的可视表示中，增强了模型诊断。我们通过两个案例研究展示了 LossLens：可视化残差连接如何影响 ResNet-20，以及可视化物理参数如何影响求解简单对流问题的物理信息神经网络 (PINN)。
引用
@article{arxiv.2412.13321,
title = {LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics},
author = {Tiankai Xie and Jiaqing Chen and Yaoqing Yang and Caleb Geniesse and Ge Shi and Ajinkya Chaudhari and John Kevin Cava and Michael W. Mahoney and Talita Perciano and Gunther H. Weber and Ross Maciejewski},
journal= {arXiv preprint arXiv:2412.13321},
year = {2024}
}