MARRO：用于法律文档修辞角色标注的多头注意力
计算与语言
2025-03-17 v1 人工智能
摘要
识别诸如事实、论点和最终裁决等修辞角色是理解法律案件文件及其对下游任务如法律案例摘要和裁决预测等能力的核心。然而，面临多个挑战。法律文档常常不结构化且包含专门词汇，使得常规 transformer 模型难以理解。此外，这些文档可能篇幅数页，使得神经网络模型一次性捕获整个上下文变得困难。此外，缺乏标注的法律文档以限制了深度学习模型的训练。以往的最佳方法聚焦于使用神经网络如 BiLSTM-CRF 或探索不同的嵌入技术以获得不错的结果。虽然这些技术表明更好的嵌入可导致更好的模型性能，但很少有模型专注于利用注意力机制在文档句子中学习更好的嵌入。此外，最近的研究表明，诸如多任务学习等高级技术有助于模型学习更好的表示，从而提高性能。本文提出了一套名为 MARRO 的新型多任务学习模型系列，用于修辞角色标注，采用受 transformer 启发的多头注意力机制。我们以标签迁移作为辅助任务，展示了来自印度和英国最高法院的两个标注数据集上的 MARRO 系列模型实现了最先进的成绩。
引用
@article{arxiv.2503.10659,
title = {MARRO: Multi-headed Attention for Rhetorical Role Labeling in Legal Documents},
author = {Purbid Bambroo and Subinay Adhikary and Paheli Bhattacharya and Abhijnan Chakraborty and Saptarshi Ghosh and Kripabandhu Ghosh},
journal= {arXiv preprint arXiv:2503.10659},
year = {2025}
}