作为具挑战性 NLU 任务的新闻标题分组
计算与语言
2021-05-13 v1
摘要
自然语言理解（NLU）的最新进展已使最新模型在许多标准任务上超越人类表现。这些令人印象深刻的成果促使学界反思数据集的局限性，并迭代出更细微的挑战。在本文中，我们引入了新闻标题分组（HLG）任务及相应数据集（HLGD），其包含 20,056 对新闻标题，每对均标有二元判断以指明该对是否属于同一组。在 HLGD 上，人类标注者取得了约 0.9 F-1 的高表现，而当前最先进的 Transformer 模型仅达到 0.75 F-1，为进一步改进开辟了道路。我们进一步提出了一种用于新闻标题分组任务的新型无监督标题生成器替换模型，其表现距最佳有监督模型仅在 3 F-1 以内。最后，我们通过一致性测试分析了高性能模型，发现模型的预测并不一致，揭示了当前架构的建模局限。
引用
@article{arxiv.2105.05391,
title = {News Headline Grouping as a Challenging NLU Task},
author = {Philippe Laban and Lucas Bandarkar and Marti A. Hearst},
journal= {arXiv preprint arXiv:2105.05391},
year = {2021}
}
备注
NAACL2021, 13 pages, 8 figures