SemEval-2015 任务3：社区问答中的答案选择
计算与语言
2019-11-27 v1 人工智能
信息检索
摘要
社区问答（cQA）为传统问答（QA）领域提供了新的有趣研究方向，例如对用户间交互及相关帖子结构的利用。在此背景下，我们组织了 SemEval-2015 任务3“cQA 中的答案选择”，其包含两个子任务：（a）将答案相对于问题分类为“好”“差”或“潜在相关”；（b）基于全部答案列表以“是”“否”或“不确定”回答一个 YES/NO 问题。我们为阿拉伯语和英语设置了子任务 A，涉及两个差异较大的 cQA 领域，即英语的 Qatar Living 网站与阿拉伯语的 Quran 相关网站。我们利用 Amazon Mechanical Turk 上的众包标注了一个大型英语训练数据集，并已向研究界发布。十三支队伍参与了该评测，共计 61 次提交：24 次主要提交与 37 次对比提交。最佳系统在英语子任务 A 与 B 的官方得分（宏平均 F1）分别为 57.19 与 63.7，阿拉伯语子任务 A 为 78.55。
引用
@article{arxiv.1911.11403,
title = {SemEval-2015 Task 3: Answer Selection in Community Question Answering},
author = {Preslav Nakov and Lluís Màrquez and Walid Magdy and Alessandro Moschitti and James Glass and Bilal Randeree},
journal= {arXiv preprint arXiv:1911.11403},
year = {2019}
}
备注
community question answering, answer selection, English, Arabic