利用负数据反模型检测并驱除语言模型中的统计幽灵
计算与语言
2020-10-23 v1 人工智能
机器学习
摘要
有人说“语言模型是无监督多任务学习器”。确实，在英文文本“正”例上自监督训练的语言模型以可取的方式泛化到许多自然语言任务。但如果此类模型能偏离初始自监督目标如此之远，一个任性的模型也可能以不可取的方式泛化，例如泛化到非自然语言的荒谬“负”例。本工作的一个关键问题是：在（正）训练数据上训练的语言模型是否也会泛化到（负）测试数据？我们将此问题用作一种手段，以评估语言模型在多大程度上学习了文本的不期望属性（如 n-gram），这些属性可能干扰对更期望属性（如句法）的学习。我们发现，在同一模型族内，随着参数数量、训练轮数和数据集规模的增加，模型对负 n-gram 数据的泛化能力也随之增强，表明标准自监督泛化过度。我们提出一种归纳偏置形式，利用从正数据自动学习的负数据分布来衰减此类不期望信号。我们应用该方法从 LSTM 中移除 n-gram 信号，发现这样做使它们偏好句法信号，正如在句法主谓一致任务上大幅错误降低（在最难案例上达 46%）所证明的那样。
引用
@article{arxiv.2010.11855,
title = {Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data},
author = {Michael L. Wick and Kate Silverstein and Jean-Baptiste Tristan and Adam Pocock and Mark Johnson},
journal= {arXiv preprint arXiv:2010.11855},
year = {2020}
}