BERTino：一个意大利语DistilBERT模型
计算与语言
2023-04-03 v1 机器学习
摘要
近期Transformer语言表示模型的引入使得许多自然语言处理（NLP）任务获得巨大改进。然而，尽管此类架构所取得的性能令人惊讶，但其可用性受到构成网络的海量参数限制，导致较高的计算与内存需求。在本工作中，我们提出BERTino，一个DistilBERT模型，旨在成为首个面向意大利语、轻量级的BERT架构替代方案。我们在意大利语ISDT、意大利语ParTUT、意大利语WikiNER以及多类分类任务上评估了BERTino，取得了与BERTBASE相当的F1分数，并在训练与推理速度上获得显著提升。
引用
@article{arxiv.2303.18121,
title = {BERTino: an Italian DistilBERT model},
author = {Matteo Muffo and Enrico Bertino},
journal= {arXiv preprint arXiv:2303.18121},
year = {2023}
}
备注
5 pages