加权Frobenius目标的谱分析
数值分析
2025-09-23 v1 机器学习
数值分析
摘要
我们对加权Frobenius损失进行分析，用于近似对称正定矩阵，背景为迭代求解器的预条件化。与标准Frobenius范数不同，加权损失对系统矩阵小特征值相关的误差分量施加更强的惩罚。我们的分析表明，每个特征模态都按其相应特征值的平方进行比例缩放，并且在固定误差预算下，仅当误差局限于最大特征值的方向时，损失才会最小化。这为何最小化加权损失自然抑制低频分量提供了严格的解释，这可以是共轭梯度法中可取的策略。该分析独立于具体的逼近方案或稀疏模式，同样适用于不完整分解、代数更新以及基于学习的构建。数值实验确认了理论预测，包括一个示例，其中稀疏因子通过直接梯度更新来训练IC(0)因子条目，即不使用任何训练神经网络模型。
关键词
引用
@article{arxiv.2509.16783,
title = {Spectral Analysis of the Weighted Frobenius Objective},
author = {Vladislav Trifonov and Ivan Oseledets and Ekaterina Muravleva},
journal= {arXiv preprint arXiv:2509.16783},
year = {2025}
}