法律提示：教导语言模型像律师一样思考

具备零样本或少样本提示能力的大语言模型（LLM）催生了提示工程这一新研究领域。近期进展表明，例如思维链（CoT）提示可显著提升算术或常识任务表现。我们探究此类方法在法律推理任务上的表现，并采用基于日本司法考试的 COLIEE 蕴含任务来测试零样本/少样本及微调方法。我们的发现显示，尽管 CoT 提示和带解释的微调方法有所改进，但最佳结果由源自特定法律推理技术（如 IRAC（争议点、规则、适用、结论））的提示所产生。基于实验，我们将 2021 年最佳结果从 0.7037 准确率提升至 0.8148 准确率，并以 0.7431 的准确率击败了 2022 年 0.6789 准确率的最佳系统。