ZeroGen：通过数据集生成实现高效零样本学习
计算与语言
2022-10-25 v2 人工智能
摘要
近期由于大型预训练语言模型（PLMs）卓越的生成能力，数据集生成受到越来越多的关注。本文研究一种灵活高效的零样本学习方法 \textsc{ZeroGen}。给定零样本任务，我们首先以无监督方式利用 PLMs 从零生成数据集。随后，在合成数据集的监督下训练一个微小的任务模型（如 LSTM）。该方法可实现极高效率的推理，因为最终任务模型的参数量仅约为 PLMs（如 GPT2-XL）的百分之几。除无需标注和高效之外，我们认为 \textsc{ZeroGen} 还能从无数据、模型无关的知识蒸馏以及无参考文本生成评估的角度提供有益见解。在不同 NLP 任务（即文本分类、问答和自然语言推理）上的实验与分析显示了 \textsc{ZeroGen} 的有效性。
引用
@article{arxiv.2202.07922,
title = {ZeroGen: Efficient Zero-shot Learning via Dataset Generation},
author = {Jiacheng Ye and Jiahui Gao and Qintong Li and Hang Xu and Jiangtao Feng and Zhiyong Wu and Tao Yu and Lingpeng Kong},
journal= {arXiv preprint arXiv:2202.07922},
year = {2022}
}
备注
Accepted by EMNLP 2022 (Main Conference)