探究数据选择策略对语言模型性能的影响

数据选择对于增强语言模型性能至关重要，尤其是在与所需目标分布一致的情况下。本研究探讨了不同数据选择方法和特征类型对模型性能的影响。我们评估了选择数据子集是否影响下游任务，n-gram特征是否提高与目标分布的对齐，以及基于嵌入的神经特征是否提供补充优势。通过使用基线随机选择方法和分布对齐方法进行比较实验， 我们提供了数据选择策略与模型训练有效性之间相互作用的见解。本研究的所有代码均可在GitHub存储库中获得。