Archimedes-AUEB at SemEval-2024 Task 5:LLM 解释民事诉讼法
计算与语言
2024-05-15 v1
摘要
关于民事诉讼法中论证推理的 SemEval 任务极具挑战性,因为它要求理解法律概念并推断复杂的论证。目前,在法律领域表现出色的大多数大语言模型(LLM)主要用于分类任务,因此其推理依据存在争议。我们提倡的方法涉及使用强大的教师 LLM(ChatGPT)通过解释来扩展训练数据集并生成合成数据。然后利用生成的数据微调一个小型学生 LLM。与以往的工作不同,我们的解释并非直接源自教师的内部知识。相反,它们立足于真实的人类分析,因此提供了更优的推理信号。此外,一种新的“变异”方法受现有数据启发生成人工数据实例。我们公开发布这些解释作为对原始数据集的扩展,连同合成数据集以及用于生成两者的提示。我们的系统在 SemEval 竞赛中排名第 15。它优于其自身的教师模型,并且如法律专家所验证的那样,能够产生与原始人类分析相一致的解释。
引用
@article{arxiv.2405.08502,
title = {Archimedes-AUEB at SemEval-2024 Task 5: LLM explains Civil Procedure},
author = {Odysseas S. Chlapanis and Ion Androutsopoulos and Dimitrios Galanis},
journal= {arXiv preprint arXiv:2405.08502},
year = {2024}
}
备注
To be published in SemEval-2024