Doge Tickets：通过彩票假设发掘领域通用语言模型
计算与语言
2022-09-20 v2 机器学习
摘要
过度参数化模型，尤其是预训练语言模型（LMs），因其较小的学习偏置而展现出引人注目的表达能力。然而，LMs 巨大的学习能力也会导致较大的学习方差。在一项初步研究中，我们发现当面对多个领域时，关键部分的参数以领域特定的方式表现异常，而其他参数则以领域通用的方式表现。受此现象启发，我们首次假设领域通用参数可支撑一个能从原始 LM 导出的领域通用 LM。为发掘该领域通用 LM，我们提出通过彩票假设（lottery tickets）识别领域通用参数（称为 doge tickets）。为干预彩票，我们提出一种领域通用分数，通过关联参数与方差来刻画参数的领域不变性。在 Amazon、Mnli 和 OntoNotes 数据集上进行了综合实验。结果表明，与一系列有竞争力的基线相比，doge tickets 获得了改进的域外泛化能力。分析结果进一步暗示了领域通用参数的存在以及 doge tickets 的性能一致性。
引用
@article{arxiv.2207.09638,
title = {Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets},
author = {Yi Yang and Chen Zhang and Benyou Wang and Dawei Song},
journal= {arXiv preprint arXiv:2207.09638},
year = {2022}
}
备注
Accepted to NLPCC 2022. Code is available at https://github.com/Ylily1015/DogeTickets