受计算资源限制的数据选择

数据选择可以减少微调大语言模型所需的训练数据量；然而，其有效性直接随计算资源的增加而提升。受计算资源受限微调的实际挑战，我们考虑在数据选择成本和训练成本都受预算限制的情形。首先，我们形式化了具备成本感知效用函数的数据选择问题，并将数据选择建模为在初始选择成本与训练收益之间进行权衡。我们进行了一系列实验， varying 计算资源预算，包括扩大微调标记数、模型规模和数据选择计算。有趣地发现，许多强大的选择方法几乎从未达到计算最优，而更便宜的数据选择方案在理论和实证层面都占据优势。对于计算最优的训练，我们发现 perplexity 和 gradient 数据选择分别需要训练到选择模型的规模比为 5 倍和 10 倍。