Landscaper：通过多维拓扑分析理解损失景观
机器学习
2026-02-24 v3 人工智能
摘要
损失景观是理解神经网络优化与泛化的强大工具，但传统的低维分析往往忽略复杂的拓扑特征。我们present了 Landscaper——一个用于任意维度损失景观分析的开源 Python 软件包。Landscaper 将 Hessian 基准子构建与拓扑数据分析相结合，以揭示如盆地层级结构和连通性等几何结构。其关键组件是 Saddle-Minimum Average Distance（SMAD），用于量化景观的平滑度。我们在各种体系结构和任务上展示了 Landscaper 的有效性，包括涉及预训练语言模型的任务，显示 SMAD 能够捕捉传统指标遗漏的训练转换，如景观简化。我们还说明了 Landscaper 在具有挑战性的化学性质预测任务中的性能，其中 SMAD 可作为数据稀缺科学机器学习场景中模型诊断和体系结构设计的 OOD 泛化指标。
引用
@article{arxiv.2602.07135,
title = {Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis},
author = {Jiaqing Chen and Nicholas Hadler and Tiankai Xie and Rostyslav Hnatyshyn and Caleb Geniesse and Yaoqing Yang and Michael W. Mahoney and Talita Perciano and John F. Hartwig and Ross Maciejewski and Gunther H. Weber},
journal= {arXiv preprint arXiv:2602.07135},
year = {2026}
}