超越普通微调：改进预训练模型用于社会常识推理
计算与语言
2021-05-14 v1
摘要
预训练语言模型近来在许多 NLP 任务中展现出卓越性能。然而，它们所需的社会智能——即对当前情境及他人心理状态的常识推理——仍在发展中。为提升语言模型的社会智能，我们聚焦于 Social IQA 数据集，该任务需要社会与情感常识推理。在预训练的 RoBERTa 和 GPT2 模型基础上，我们提出若干架构变体与扩展，并利用外部常识语料库，以针对 Social IQA 优化模型。我们提出的系统在排行榜上取得了与那些排名靠前的模型相竞争的结果。本工作展示了预训练语言模型的优势，并提供了提升其在特定任务上性能的可行途径。
引用
@article{arxiv.2105.05913,
title = {Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense},
author = {Ting-Yun Chang and Yang Liu and Karthik Gopalakrishnan and Behnam Hedayatnia and Pei Zhou and Dilek Hakkani-Tur},
journal= {arXiv preprint arXiv:2105.05913},
year = {2021}
}
备注
SLT 2021