ROOTS 检索工具：面向 LLM 的数据透明化
计算与语言
2023-02-28 v1 人工智能
摘要
ROOTS 是一个 1.6TB 的多语言文本语料库，为 BLOOM 的训练而构建，目前是明确伴随相称数据治理工作的最大语言模型。作为这些工作的延续，我们提出了 ROOTS 检索工具：一个覆盖整个 ROOTS 语料库的搜索引擎，提供模糊与精确检索能力。ROOTS 是迄今可用此方法研究的最大语料库。ROOTS 检索工具已开源，并可在 Hugging Face Spaces 上获取。我们描述了我们的实现及该工具的可能用例。
引用
@article{arxiv.2302.14035,
title = {The ROOTS Search Tool: Data Transparency for LLMs},
author = {Aleksandra Piktus and Christopher Akiki and Paulo Villegas and Hugo Laurençon and Gérard Dupont and Alexandra Sasha Luccioni and Yacine Jernite and Anna Rogers},
journal= {arXiv preprint arXiv:2302.14035},
year = {2023}
}