用于训练数据归因与损失景观研究的高效草图
机器学习
2024-10-25 v2 机器学习
摘要
现代机器学习模型的研究通常需要存储大量的梯度或Hessian向量积（HVP）。传统的草图方法在这种内存约束下难以扩展。我们提出了一个可扩展的梯度和HVP草图新框架，专为现代硬件定制。我们提供了理论保证，并展示了我们的方法在训练数据归因、Hessian谱分析和预训练语言模型的内在维度计算等应用中的强大能力。我们的工作为预训练语言模型的行为提供了新的见解，挑战了关于其内在维度和Hessian性质的假设。
引用
@article{arxiv.2402.03994,
title = {Efficient Sketches for Training Data Attribution and Studying the Loss Landscape},
author = {Andrea Schioppa},
journal= {arXiv preprint arXiv:2402.03994},
year = {2024}
}