我们如何加速实现类人语言泛化能力的进展
计算与语言
2020-05-05 v1
摘要
本立场论文描述并批评了预训练无关同分布(Pretraining-Agnostic Identically Distributed, PAID)评估范式,该范式已成为衡量自然语言理解进展的核心工具。该范式包含三个阶段:(1)在任意规模语料上预训练词预测模型;(2)在表示分类任务的训练集上微调(迁移学习);(3)在与该训练集同分布的测试集上评估。该范式偏好简单、低偏置的架构,这类架构首先可扩展以处理海量数据,其次能捕捉特定数据集的细粒度统计特性,而不论这些特性是否可能泛化到数据集之外的任务样例。这与人类形成对比:人类从该评估范式所偏好的系统所需数据量少数个数量级,并以一致的方式泛化到新任务。我们主张用能够奖励像人类一样快速且鲁棒地泛化的架构的范式来补充或替代PAID。
引用
@article{arxiv.2005.00955,
title = {How Can We Accelerate Progress Towards Human-like Linguistic Generalization?},
author = {Tal Linzen},
journal= {arXiv preprint arXiv:2005.00955},
year = {2020}
}
备注
ACL 2020