子语言:影响法律领域预训练模型的严重问题
计算与语言
2021-09-06 v2 人工智能
摘要
法律英语是一种子语言,对每个人都重要但并非每个人都理解。预训练模型已成为当前不同问题深度学习方法中最佳实践。若这些模型在无法律子语言知识的情况下应用于实践,将是一种浪费甚至危险。本文提出该问题,并通过引入法律子语言预训练模型 BERTLaw 给出一个简单解决方案。论文实验展示了该方法相对于基线预训练模型的优越有效性。
引用
@article{arxiv.2104.07782,
title = {Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain},
author = {Ha-Thanh Nguyen and Le-Minh Nguyen},
journal= {arXiv preprint arXiv:2104.07782},
year = {2021}
}