ALKAFI-LLAMA3：针对巴勒斯坦法律领域对LLM进行精确微调
计算与语言
2024-12-20 v1 人工智能
机器学习
摘要
大型语言模型（LLM）在各个领域展现出巨大的潜力，但其在法律领域的应用，尤其是在资源匮乏的地区，仍有限。本研究针对巴勒斯坦法律领域的挑战，包括政治不稳定、法律框架的碎片化以及有限的AI资源，致力于适配LLM。我们提出了基于量化版本的Llama-3.2-1B-Instruct微调模型，训练数据来源于从巴勒斯坦法律文本中派生的人工合成数据集。通过采用小规模模型和战略性生成的问答对，实现了成本效益高、在当地可持续的解决方案，提供准确且情境相关的法律指导。我们的实验在 various query types 上表现出色，涵盖是/否问题、叙述性解释以及复杂的法律区分，同时也指出了一些需要改进的领域，如处理计算类问题和结构化列表格式。该工作为在资源受限环境中部署以满足具体需求的AI驱动法律援助工具提供了一条路径。
引用
@article{arxiv.2412.14771,
title = {ALKAFI-LLAMA3: Fine-Tuning LLMs for Precise Legal Understanding in Palestine},
author = {Rabee Qasem and Mohannad Hendi and Banan Tantour},
journal= {arXiv preprint arXiv:2412.14771},
year = {2024}
}