参数高效的法律领域自适应
计算与语言
2022-11-07 v2
摘要
寻求法律咨询通常费用高昂。近期机器学习在解决复杂问题上的进展可被用以帮助公众更易获得法律服务。然而，实际应用面临重大挑战。最先进的语言模型规模日益增长，使参数高效学习愈发重要。遗憾的是，参数高效方法在少量数据下表现不佳，而法律领域常见此类数据（其标注成本很高）。为应对这些挑战，我们提出参数高效的法律领域自适应，利用来自公共法律论坛的大量无监督法律数据进行法律预训练。该方法在多个法律任务上以仅调优约0.1%的模型参数，超越或匹敌LEGAL-BERT等现有模型的少样本性能。此外，我们表明本方法在多项任务上可达到与现有方法相当的校准水平。据我们所知，本工作是首批探索法律领域语言模型参数高效调优方法的研究之一。
引用
@article{arxiv.2210.13712,
title = {Parameter-Efficient Legal Domain Adaptation},
author = {Jonathan Li and Rohan Bhambhoria and Xiaodan Zhu},
journal= {arXiv preprint arXiv:2210.13712},
year = {2022}
}
备注
Accepted into the 2022 NLLP workshop