SemEval-2017 任务 3：社区问答
计算与语言
2019-12-03 v1 人工智能
信息检索
机器学习
摘要
我们描述了 SemEval-2017 关于社区问答的任务 3。今年，我们重跑了 SemEval-2016 的四个子任务：(A) 问题-评论相似度，(B) 问题-问题相似度，(C) 问题-外部评论相似度，以及 (D) 为阿拉伯语的新问题重排序正确答案，提供 2015 和 2016 年的所有数据用于训练，以及新鲜数据用于测试。此外，我们新增了一个子任务 E，以利用 StackExchange 子论坛在更大规模场景下开展多领域问题重复检测的实验。共有 23 支队伍参与了该任务，并为子任务 A-D 提交了总计 85 次运行（36 次主要运行和 49 次对比运行）。遗憾的是，没有队伍参与子任务 E。参与系统使用了多种方法和特征来处理不同子任务。最佳系统在子任务 A、B、C 和 D 中分别取得了 88.43、47.22、15.46 和 61.16 的官方分数（MAP）。这些分数优于基线，尤其是子任务 A-C。
引用
@article{arxiv.1912.00730,
title = {SemEval-2017 Task 3: Community Question Answering},
author = {Preslav Nakov and Doris Hoogeveen and Lluís Màrquez and Alessandro Moschitti and Hamdy Mubarak and Timothy Baldwin and Karin Verspoor},
journal= {arXiv preprint arXiv:1912.00730},
year = {2019}
}
备注
community question answering, question-question similarity, question-comment similarity, answer reranking, Multi-domain Question Duplicate Detection, StackExchange, English, Arabic