技术报告：BetterMixture 竞赛解决方案

在大型模型蓬勃发展的时代，如何在有限计算资源的约束下，从海量且复杂的数据海洋中选择并优化数据集以提升大型语言模型的性能，已成为至关重要的挑战。本文详细介绍了我们针对 BetterMixture 挑战赛的解决方案，该挑战赛聚焦于大型语言模型的微调数据混合。我们获得第三名的方法结合了数据去重、低级和高级质量过滤以及多样性选择。我们解决方案的基础是 Ke-Data-Juicer，即 Data-Juicer 的扩展，展示了其在处理和优化大型语言模型数据方面的强大能力。