Cryptonite：面向语言极端歧义性的 cryptic 填字基准
计算与语言
2021-11-03 v2 人工智能
机器学习
机器学习
摘要
当前针对歧义性的 NLP 数据集可由母语者相对轻易地解决。我们提出 Cryptonite，一个基于 cryptic 填字的大规模数据集，其兼具语言复杂性与自然来源。Cryptonite 中每个样本是一条 cryptic 线索，即具有误导性表层释义的短短语或句子，其解答需要消歧语义、句法与语音文字游戏，以及世界知识。Cryptonite 线索即便对经验丰富的解题者亦构成挑战，尽管顶尖专家能以近 100% 准确率解答。Cryptonite 对当前模型是一项困难任务；在 470k 条 cryptic 线索上微调 T5-Large 仅达到 7.6% 准确率，与基于规则的线索求解器（8.6%）相当。
引用
@article{arxiv.2103.01242,
title = {Cryptonite: A Cryptic Crossword Benchmark for Extreme Ambiguity in Language},
author = {Avia Efrat and Uri Shaham and Dan Kilman and Omer Levy},
journal= {arXiv preprint arXiv:2103.01242},
year = {2021}
}
备注
EMNLP 2021