Oasis：面向大语言模型预训练的数据整理与评估系统
计算与语言
2023-11-22 v1 人工智能
摘要
数据是构建大语言模型最关键的要素之一。然而，现有系统要么无法定制语料整理流程，要么忽视利用全面的语料评估来实现整理过程的迭代优化。为此，我们提出了一个名为 Oasis 的预训练语料整理与评估平台——一个用于数据质量改进与量化、带有用户友好交互界面的一站式系统。具体而言，交互式模块化规则过滤模块可根据显式反馈制定定制规则；去偏神经过滤模块以负向为中心构建质量分类数据集以消除不期望的偏差；自适应文档去重模块可在有限内存资源下执行大规模去重。这三部分构成了定制数据整理模块。而在整体数据评估模块中，可从局部和全局视角对语料进行评估，并采用包括人工、GPT-4 和启发式指标在内的三种评估手段。我们展示了一个使用 Oasis 进行预训练数据整理与评估的完整流程。此外，公开发布了一个由 Oasis 整理的 800GB 双语语料。
引用
@article{arxiv.2311.12537,
title = {Oasis: Data Curation and Assessment System for Pretraining of Large Language Models},
author = {Tong Zhou and Yubo Chen and Pengfei Cao and Kang Liu and Jun Zhao and Shengping Liu},
journal= {arXiv preprint arXiv:2311.12537},
year = {2023}
}