控制网络问答的风险
信息检索
2019-07-12 v3 计算与语言
摘要
网络问答（QA）已成为现代搜索系统不可或缺的组成部分，其可通过针对检索段落应用机器阅读理解（MRC）模型提取关于搜索查询的答案，直接满足用户信息需求，从而显著改善用户搜索体验。随着深度学习技术的发展，近期深度方法已取得最先进的MRC性能。然而，现有MRC研究很少解决预测不确定性问题，即MRC模型预测出错的可能性，导致现实世界网络QA应用中风险不可控。本工作中，我们首先对网络QA风险进行深入探究，随后引入一种新颖的风险控制框架，其包含使用探针思想进行不确定性估计的资格模型，以及用于选择性输出的决策模型。为评估，我们引入风险相关指标，而非MRC中传统的EM与F1，用于风险感知网络QA的评估。在真实世界网络QA数据集与学术MRC基准集合上的实证结果证明了我们方法的有效性。
引用
@article{arxiv.1905.10077,
title = {Controlling Risk of Web Question Answering},
author = {Lixin Su and Jiafeng Guo and Yixing Fan and Yanyan Lan and Xueqi Cheng},
journal= {arXiv preprint arXiv:1905.10077},
year = {2019}
}
备注
42nd International ACM SIGIR Conference on Research and Development in Information Retrieval