通过语义因果图指令微调以增强大型语言模型中的事件推理能力
计算与语言
2024-09-04 v1 机器学习
摘要
事件检测和文本推理已成为多个领域的关键应用。虽然近期大型语言模型（LLM）在推理能力方面取得了显著进展，但它们在事件检测方面常常表现不佳，尤其是缺乏考虑事件触发器与类型之间因果关系的训练方法。为此，我们提出了一种新的方法，用于指令微调 LLM 以进行事件检测。我们引入语义因果图（SCG）来捕捉文本中包含的因果关系和上下文信息。基于 SCG，我们提出了 SCG 指令用于微调 LLM，侧重于事件触发器及其与事件类型的关系，并采用 Low-Rank Adaptation（LoRA）以帮助保留 LLM 的通用推理能力。我们的评估表明，使用 SCG 指令进行训练的 LLM 在事件触发器分类任务中平均优于标准指令微调 35.69%。值得注意的是，我们微调的 Mistral 7B 模型在事件触发器识别、事件触发器分类和事件分类的关键指标上分别比 GPT-4 高出 31.01%、37.40% 和 16.43%。我们分析了通用能力的保留情况，观察到在六项基准测试中平均下降仅 2.03 分。这项全面研究探索了多个 LLM 在事件检测任务中的表现，涵盖各种数据集、提示策略和训练方法。
引用
@article{arxiv.2409.00209,
title = {Enhancing Event Reasoning in Large Language Models through Instruction Fine-Tuning with Semantic Causal Graphs},
author = {Mazal Bethany and Emet Bethany and Brandon Wherry and Cho-Yu Chiang and Nishant Vishwamitra and Anthony Rios and Peyman Najafirad},
journal= {arXiv preprint arXiv:2409.00209},
year = {2024}
}