通过统一多选视角实现自然语言理解的零样本学习器
计算与语言
2022-10-19 v2
摘要
我们提出了一种格式无关的零样本学习器新范式，即它与任何格式兼容，并适用于一系列语言任务，如文本分类、常识推理、共指消解和情感分析。零样本学习旨在给定任务上训练模型，使其无需任何额外训练即可处理新的学习任务。我们的方法将零样本学习转换为多选任务，避免了FLAN等常用大规模生成模型中存在的问题。它不仅增强了模型的泛化能力，还显著减少了参数量。我们的方法兼具高效训练和部署的优点。我们的方法在多个基准上展示了最先进的性能，并在自然语言推理和文本分类等任务上产生了令人满意的结果。我们的模型仅用235M参数即取得此成功，远小于拥有数十亿参数的最先进模型。代码和预训练模型可在 https://github.com/IDEA-CCNL/Fengshenbang-LM 获取。
引用
@article{arxiv.2210.08590,
title = {Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective},
author = {Ping Yang and Junjie Wang and Ruyi Gan and Xinyu Zhu and Lin Zhang and Ziwei Wu and Xinyu Gao and Jiaxing Zhang and Tetsuya Sakai},
journal= {arXiv preprint arXiv:2210.08590},
year = {2022}
}
备注
EMNLP 2022