FewJoint：面向联合语言理解的少样本学习基准
计算与语言
2020-12-15 v3 人工智能
摘要
少样本学习（FSL）是机器学习未来的关键步骤之一，已引起大量关注。然而，与计算机视觉等其他领域的快速发展相比，FSL在自然语言处理（NLP）中的进展要慢得多。其关键原因之一是缺乏公共基准。NLP的FSL研究总是在其自行构建的少样本数据集上报告新结果，这在结果比较上效率低下，从而阻碍了累积进展。在本文中，我们提出FewJoint，一个面向NLP的新型少样本学习基准。与大多数仅关注简单N分类问题的NLP FSL研究不同，我们的基准引入了少样本联合对话语言理解，其额外涵盖了结构预测和多任务依赖问题。这使得我们的基准能够反映超越简单N分类的真实世界NLP复杂性。我们的基准用于SMP2020-ECDT任务-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台以简化实验设置。
引用
@article{arxiv.2009.08138,
title = {FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding},
author = {Yutai Hou and Jiafeng Mao and Yongkui Lai and Cheng Chen and Wanxiang Che and Zhigang Chen and Ting Liu},
journal= {arXiv preprint arXiv:2009.08138},
year = {2020}
}
备注
Code and dataset is available at: https://github.com/AtmaHou/MetaDialog