立场：应通过线性算子实现曲率矩阵的民主化

结构化大型矩阵在机器学习中普遍存在。其中一类特别重要的是诸如 Hessian 矩阵的曲率矩阵，它们对于理解神经网络（NN）的损失景观至关重要，并可实现二阶优化、不确定性量化、模型剪枝、数据归因等功能。然而，由于自动微分的复杂性，以及曲率代理（如稀疏性与 Kronecker 分解）的多样性与结构假设，曲率计算可能颇具挑战。在这篇立场论文中，我们论证了线性算子——一种用于执行矩阵-向量乘积的接口——提供了一种通用、可扩展且用户友好的抽象来处理曲率矩阵。为支持这一立场，我们开发了 $\textit{curvlinops}$，这是一个通过统一的线性算子接口提供曲率矩阵的库。我们利用 $\textit{curvlinops}$ 演示了该接口如何隐藏复杂性、简化应用、具备可扩展性并与其他库互操作，以及如何扩展至大型 NN。