QLESS：面向大型语言模型微调的数据定价与选择的量化方法
机器学习
2025-02-05 v1 人工智能
计算与语言
摘要
大型语言模型（LLM）的微调常受限于处理大规模数据集的计算成本。我们提出QLESS（Quantized Low-rank Gradient Similarity Search），将梯度量化与LESS框架集成，以实现内存高效的数据定价和选择。QLESS采用两步压缩过程：首先通过LoRA-based随机投影获取低维梯度表示；其次将这些梯度量化为低位宽表示。实验在多个LLM架构（LLaMA、Mistral、Qwen）和基准测试（MMLU、BBH、TyDiQA）上显示，QLESS在保持数据选择性能的同时，将内存使用降低最高可达16倍。即使采用1位梯度量化，也能保持数据定价质量。这些发现凸显了QLESS作为一种在严格内存约束下识别信息性样本的实用、可扩展方法。
引用
@article{arxiv.2502.01703,
title = {QLESS: A Quantized Approach for Data Valuation and Selection in Large Language Model Fine-Tuning},
author = {Moses Ananta and Muhammad Farid Adilazuarda and Zayd Muhammad Kawakibi Zuhri and Ayu Purwarianti and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2502.01703},
year = {2025}
}