消除长宽比偏置的神经网络特征谱分析
机器学习
2025-08-19 v2 人工智能
摘要
通过分析神经网络权重的特征谱来诊断深度神经网络（DNN）是近年来活跃的研究领域。主要方法之一是衡量经验谱密度（ESD）的重尾程度。这一分析已被证明可提供见解，以帮助诊断模型是良好训练还是欠训练，并用于指导涉及层级超参数分配的训练方法。在本文中，我们解决了一个常被忽视的挑战：估计这些 ESD 重尾程度的影响，即权重矩阵的宽高比。我们展示，不同尺寸（和宽高比）的矩阵会引入对 ESD 重尾程度估计的非可忽略偏差，导致不准确的模型诊断和层级超参数分配。为克服此挑战，我们提出了 FARMS（Fixed-Aspect-Ratio Matrix Subsampling），一种通过对子矩阵进行子采样以固定宽高比来归一化权重矩阵的方法。我们测量这些子采样子矩阵的平均 ESD，而非原始 ESD 的重尾程度。我们表明，该方法有效缓解了宽高比偏置。在各种优化技术和涉及权重特征谱分析的应用领域中验证了该方法，包括计算机视觉中的图像分类模型、科学机器学习中的模型训练以及大型语言模型（LLM）修剪。我们的结果表明，尽管该方法简单，FARMS 在特征谱分析中均能提高准确性，同时更有效地实现层级超参数分配。在一次 LLM 修剪实验中，FARMS 比现有最先进方法将 LLaMA-7B 模型的困惑度降低 17.3%。
引用
@article{arxiv.2506.06280,
title = {Eigenspectrum Analysis of Neural Networks without Aspect Ratio Bias},
author = {Yuanzhe Hu and Kinshuk Goel and Vlad Killiakov and Yaoqing Yang},
journal= {arXiv preprint arXiv:2506.06280},
year = {2025}
}
备注
29 pages, 14 figures, ICML 2025