ResoFilter：基于数据-参数共振分析的大语言模型细粒度合成数据过滤
核理论
2024-12-20 v1
摘要
大语言模型（LLM）在各类领域展现出惊人的有效性，数据增强方法也广泛采用 GPT 生成合成数据。然而，这些增强数据的质量与实用性值得存疑，现有方法缺乏明确的数据特征评估指标。为此，我们提出了 ResoFilter，一种集成模型、数据与任务以细化数据集的方法。ResoFilter 利用微调过程获取数据-参数特征用于数据选择，通过模型权重表示数据特征，提供更好的可解释性。我们的实验表明，ResoFilter 在数学任务中仅用半数的数据即可达到相当于全量微调的效果，并在不同模型和领域之间展现出强大的泛化能力。该方法为构建合成数据集、评估高质量数据提供了有价值的洞见，为增强数据增强技术、提高 LLM 训练数据集质量提供了有前景的解决方案。为保证可重复性，我们将在论文接受后发布代码和数据。
引用
@article{arxiv.2412.14807,
title = {Modeling of Real and Imaginary Phase Shifts for $\alpha-\alpha$ Scattering using Malfliet-Tjon Potential},
author = {Shikha Awasthi and Ishwar Kant and Anil Khachi and O. S. K. S. Sastri},
journal= {arXiv preprint arXiv:2412.14807},
year = {2024}
}
备注
14 pages, 4 figures, 122 references