基于重构表达的强化学习用于知识图谱上的对话式问答
信息检索
2021-08-23 v2 计算与语言
摘要
个人助手的兴起使对话式问答（ConvQA）成为非常流行的用户与系统交互机制。当前知识图谱（KGs）上 ConvQA 的最优方法只能从流行基准中发现的明确问答对中学习。然而现实中，此类训练数据难以获取：用户很少会将答案显式标记为正误。本文中，我们迈向更自然的学习范式——从通过问题重构（reformulation）得到的含噪隐式反馈中学习。重构很可能由错误的系统回复触发，而新的后续问题可能是对上一轮答案的正向信号。我们提出一种称为 CONQUER 的强化学习模型，可从问题与重构构成的对话流中学习。CONQUER 将回答过程建模为多个智能体在 KG 上并行游走，其游走由使用策略网络采样的动作决定。该策略网络以问题及对话上下文为输入，并通过从重构似然获得的含噪奖励进行训练。为评估 CONQUER，我们创建并发布了 ConvRef，一个包含约 11k 段自然对话、约 205k 次重构的基准。实验表明 CONQUER 能成功从含噪奖励信号学习回答对话问题，显著优于最优基线。
引用
@article{arxiv.2105.04850,
title = {Reinforcement Learning from Reformulations in Conversational Question Answering over Knowledge Graphs},
author = {Magdalena Kaiser and Rishiraj Saha Roy and Gerhard Weikum},
journal= {arXiv preprint arXiv:2105.04850},
year = {2021}
}
备注
SIGIR 2021 Long Paper, 11 pages