面向语言模型自监督精调的零样本常识推理
计算与语言
2021-09-14 v1
摘要
我们能否获取现有语言模型并对其进行精调以用于零样本常识推理？本文提出一项初步研究，通过将任务表述为预训练语言模型的自监督精调，探索Winograd Schema Challenge零样本常识推理的可行性。与依赖微调标注数据集的先前研究不同，我们寻求通过损失景观精调来增强概念化。为此，我们提出一种新颖的自监督学习方法，利用一组具有相似概念关系的语言扰动来精调语言模型。对我们概念上简单的框架的实证分析证明了在多个基准上零样本常识推理的可行性。
引用
@article{arxiv.2109.05105,
title = {Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:2109.05105},
year = {2021}
}
备注
To appear at EMNLP 2021