LegaLMFiT：基于 LSTM 语言模型预训练的高效短法律文本分类
计算与语言
2021-09-16 v3
摘要
基于 Transformer 的大型语言模型（如 BERT）已在许多 NLP 任务上带来广泛的性能提升。这些模型的领域特定变体在各种专门任务上展现了优异性能。在法律 NLP 中，基于 BERT 的模型已在多个任务上取得新的 SOTA 结果。对这些模型的探索表明了捕捉法律语言及其词汇特异性的重要性。然而，此类方法计算代价高，导致更高的生态影响与更低的可及性。我们聚焦于英语法律文本的发现表明，轻量级基于 LSTM 的语言模型能够从小规模法律文本预训练语料中捕获足够信息，并在短法律文本分类任务上取得优异性能。与基于 BERT 的模型相比，这是以显著降低的计算开销实现的。然而，我们的方法在更复杂的任务（较长文档的多标签分类）上也表现出性能下降，凸显了该轻量级方法的局限性。
引用
@article{arxiv.2109.00993,
title = {LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training},
author = {Benjamin Clavié and Akshita Gheewala and Paul Briton and Marc Alphonsus and Rym Laabiyad and Francesco Piccoli},
journal= {arXiv preprint arXiv:2109.00993},
year = {2021}
}