ORCA：通过定位预训练数据海洋中的支撑数据证据解释提示语言模型
计算与语言
2022-05-26 v1 机器学习
摘要
大型预训练语言模型通过提示在多种下游任务上表现愈发优异。然而，模型从何处学习任务特定知识仍不清楚，尤其在零样本设置下。本文中，我们欲从预训练中寻找模型任务能力的证据，并特别感兴趣于定位直接支撑模型完成任务的极小的预训练数据子集。我们称此类子集为支撑数据证据，并提出一种新方法 ORCA 通过迭代使用与下游任务相关的梯度信息来有效识别它。该支撑数据证据为提示语言模型提供了有趣洞见：在情感分析与文本蕴含任务中，BERT 表现出对 BookCorpus（BERT 两个预训练语料中较小的语料）以及掩码掉任务 verbalizer 同义词的预训练样本的显著依赖。
引用
@article{arxiv.2205.12600,
title = {ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data},
author = {Xiaochuang Han and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2205.12600},
year = {2022}
}