Claire法语对话数据集
计算与语言
2023-11-29 v1 人工智能
摘要
我们发布了Claire法语对话数据集（CFDD），这是由LINAGORA Labs成员在OpenLLM France倡议背景下创建的资源。CFDD是一个包含约1.6亿法语单词的语料库，来源于转录文本和剧本，我们将其整理并公开发布，以推动多语言、开源语言模型的发展。本文描述了构成CFDD的24个独立语料库，并提供其原始来源的链接与引用。同时给出了我们将完整CFDD数据集划分的八类子语料建议，并描述了标准化最终数据集格式所遵循的流程。最后我们讨论了相关工作和未来方向。
引用
@article{arxiv.2311.16840,
title = {The Claire French Dialogue Dataset},
author = {Julie Hunter and Jérôme Louradour and Virgile Rennard and Ismaïl Harrando and Guokan Shang and Jean-Pierre Lorré},
journal= {arXiv preprint arXiv:2311.16840},
year = {2023}
}