PuzzLing Machines：一个小数据学习挑战
计算与语言
2020-04-29 v1 人工智能
摘要
深度神经模型已多次证明善于从大型数据集中为各种 ML 和 NLP 基准记忆表层模式。然而，它们难以实现类人思考，因为它们缺乏基于知识进行迭代推理的技能。为了以新的视角揭示这一问题，我们引入了一个小数据学习挑战 PuzzLing Machines，其由面向高中生的语言奥林匹克竞赛中的罗塞塔石碑谜题组成。这些谜题经过精心设计，仅包含推导未见表达式形式所需的最少平行文本量。解决它们不需要外部信息（例如知识库、视觉信号）或语言学专业知识，而是需要元语言意识和演绎能力。我们的挑战包含约 100 个谜题，涵盖来自 81 种语言的广泛语言现象。正如预期，我们表明简单的统计算法和最先进的深度神经模型在该挑战上表现均不充分。我们希望这个位于 https://ukplab.github.io/PuzzLing-Machines/ 的基准能启发朝向 NLP 新范式的进一步努力——一种立足于类人推理与理解的范式。
引用
@article{arxiv.2004.13161,
title = {PuzzLing Machines: A Challenge on Learning From Small Data},
author = {Gözde Gül Şahin and Yova Kementchedjhieva and Phillip Rust and Iryna Gurevych},
journal= {arXiv preprint arXiv:2004.13161},
year = {2020}
}
备注
Accepted to ACL 2020