利用软提示与随机游走在语言模型中触发问答的多跳推理
计算与语言
2023-06-08 v1 人工智能
摘要
尽管预训练语言模型（LMs）易于记忆关于实体的世界知识，但它们难以将两条或更多事实组合以在问答任务中执行多跳推理。在这项工作中，我们提出了基于结构化知识图上随机游走来改善这一局限的技术。具体而言，我们使用软提示来引导 LMs 将其编码知识链式连接，通过学习将多跳问题映射到导向答案的随机游走路径。在两个 T5 LMs 上应用我们的方法，在回答需要 2 跳推理的问题时显示出相对于标准微调方法的显著改进。
引用
@article{arxiv.2306.04009,
title = {Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks},
author = {Kanishka Misra and Cicero Nogueira dos Santos and Siamak Shakeri},
journal= {arXiv preprint arXiv:2306.04009},
year = {2023}
}
备注
Findings of ACL 2023