利用多任务学习判定众包数据集中的问答合理性
计算与语言
2020-11-11 v1 人工智能
摘要
从社交网络和在线论坛抽取的数据集常易受自然语言缺陷的影响，即存在非结构化和含噪声的数据。在本工作中，我们旨在通过提出一项用于自动化质量分析与数据清洗的新任务——问答（QA）合理性，来实现从社交媒体收集高质量的问答数据集。给定一个机器或用户生成的问题以及来自社交媒体用户的众包回复，我们判定该问题与回复是否有效；若有效，则在自由形式回复中识别出答案。我们设计了基于 BERT 的模型来执行 QA 合理性任务，并评估了我们的模型生成干净、可用问答数据集的能力。我们性能最佳的方法由一个判定问题合理性的单任务模型和一个评估回复合理性并抽取答案的多任务模型组成（问题合理性 AUROC=0.75，回复合理性 AUROC=0.78，答案抽取 F1=0.665）。
引用
@article{arxiv.2011.04883,
title = {Determining Question-Answer Plausibility in Crowdsourced Datasets Using Multi-Task Learning},
author = {Rachel Gardner and Maya Varma and Clare Zhu and Ranjay Krishna},
journal= {arXiv preprint arXiv:2011.04883},
year = {2020}
}
备注
Published at the 6th Workshop on Noisy User-generated Text (W-NUT) 2020 at EMNLP (6 pages, 4 figures)