提升基础模型联邦微调中的数据质量

在当前基础模型训练的格局中，对公共领域数据存在严重依赖，而近期研究表明此类数据已接近枯竭。为了进一步扩大规模，纳入多个专业化且高质量的私有领域数据源之间的协作至关重要。然而，在不共享私有数据的情况下进行本地模型训练，在数据质量控制方面带来了诸多障碍。为了解决这一问题，我们提出了一种用于基础模型联邦微调的数据质量控制流水线。该流水线计算反映训练数据质量的分数，并为统一标准确定全局阈值，旨在提升全局性能。我们的实验表明，所提出的质量控制流水线提升了模型训练的有效性与可靠性，从而带来了更好的性能。