提示大语言模型用于反事实生成:一项实证研究
计算与语言
2024-02-26 v2
摘要
大语言模型(LLM)在广泛的自然语言理解与生成任务中取得了显著进展。然而,它们生成反事实的能力尚未被系统考察。为弥补这一差距,我们提出了一个涵盖各类 NLU 任务的综合评估框架,覆盖决定 LLM 反事实生成能力的全部关键因素。基于该框架,我们 1) 探究了 LLM 作为反事实生成器的优势与不足,2) 揭示了影响 LLM 生成反事实的因素,包括 LLM 的内在属性和提示设计。结果表明,尽管 LLM 在大多数情况下前景可期,它们在关系抽取(RE)等复杂任务中面临挑战,因其受限于任务特定性能、实体约束和固有选择偏差。我们还发现,对齐技术(如指令微调和基于人类反馈的强化学习)可能潜在增强 LLM 的反事实生成能力。相反,单纯增大参数规模并未带来预期改进。此外,从提示设计角度看,任务指南不出所料地发挥重要作用。然而,思维链方法因不一致问题并非总是有效。
引用
@article{arxiv.2305.14791,
title = {Prompting Large Language Models for Counterfactual Generation: An Empirical Study},
author = {Yongqi Li and Mayi Xu and Xin Miao and Shen Zhou and Tieyun Qian},
journal= {arXiv preprint arXiv:2305.14791},
year = {2024}
}
备注
Accepted to LREC-COLING 2024, camera ready version