Pantagruel：面向法语文本与语音的统一自监督编码器
计算与语言
2026-03-24 v2
摘要
我们发布了Pantagruel模型，这是一个面向法语文本和语音的自监督编码器模型新系列。Pantagruel并非预测文本标记或语音单元等模态定制化目标，而是在特征空间中学习上下文化的目标表示，从而使模态特定的编码器能够更有效地捕捉语言和声学规律。独立的模型在大型法语语料库上进行了预训练，文本方面包括Wikipedia、OSCAR和CroissantLLM，语音方面包括MultilingualLibriSpeech、LeBenchmark和INA-100k。INA-100k是一个新引入的10万小时法语音频语料库，源自法国国家视听研究院（Institut National de l'Audiovisuel, INA）的档案，该机构是法国广播和电视节目的国家存储库，提供了高度多样化的音频数据。我们在涵盖两种模态的广泛下游任务上评估了Pantagruel，包括来自标准法语基准测试（如FLUE或LeBenchmark）的任务。在这些任务中，与强大的法语基线模型（如CamemBERT、FlauBERT和LeBenchmark2.0）相比，Pantagruel模型表现出有竞争力或更优越的性能，同时保持了一个可以无缝处理语音或文本输入的共享架构。这些结果证实了特征空间自监督目标在法语表示学习中的有效性，并凸显了Pantagruel作为多模态语音-文本理解的鲁棒基础。
引用
@article{arxiv.2601.05911,
title = {Pantagruel: Unified Self-Supervised Encoders for French Text and Speech},
author = {Phuong-Hang Le and Valentin Pelloin and Arnault Chatelain and Maryem Bouziane and Mohammed Ghennai and Qianwen Guan and Kirill Milintsevich and Salima Mdhaffar and Aidan Mannion and Nils Defauw and Shuyue Gu and Alexandre Audibert and Marco Dinarelli and Yannick Estève and Lorraine Goeuriot and Steffen Lalande and Nicolas Hervé and Maximin Coavoux and François Portet and Étienne Ollion and Marie Candito and Maxime Peyrard and Solange Rossato and Benjamin Lecouteux and Aurélie Nardy and Gilles Sérasset and Vincent Segonne and Solène Evain and Diandra Fabre and Didier Schwab},
journal= {arXiv preprint arXiv:2601.05911},
year = {2026}
}
备注
Accepted to LREC 2026