基于Transformer的模型在法语问答任务上的可用性研究

对于许多任务，基于Transformer的架构已取得了最先进的结果，导致实践范式从使用特定任务架构转向微调预训练语言模型。当前的趋势是用不断增大的数据量和参数量训练模型，这需要可观的资源。这促使人们强烈寻求基于仅针对英语评估的算法与硬件改进来提升资源效率。这引发了当其应用于小规模学习问题（可用训练数据有限，尤其是资源匮乏语言任务）时可用性的疑问。缺乏规模适当的语料库是应用数据驱动与迁移学习方法的一大障碍，并伴随严重的稳定性问题。本文确立了基于Transformer模型可用性相关工作的现状，并提议在资源匮乏的法语问答性能上评估这些改进。我们通过研究带数据增强、超参数优化与跨语言迁移的多种训练策略来解决数据稀缺相关的不稳定性。我们还引入了一种新的法语紧凑模型FrALBERT，证明其在低资源设定下具有竞争力。