解释能否用于校准黑箱模型？

NLP 从业者常常希望将已训练的模型应用于新领域的数据。虽然微调或小样本学习可用于适配基础模型，但并没有使这些技术奏效的单一配方；此外，如果模型以黑箱形式部署，可能无法获取原始模型权重。我们研究如何通过利用模型行为的解释来提升黑箱模型在新领域上的性能。我们的方法首先提取一组结合了人类对任务的直觉与黑箱解释技术生成的模型归因的特征，然后使用一个简单的校准器（以分类器的形式）来预测基础模型的预测是否正确。我们在两个任务上实验了该方法：抽取式问答和自然语言推理，覆盖了从若干领域对进行适配且目标领域数据有限的情形。所有领域对的实验结果表明，解释对于校准这些模型是有用的，在无需对每个样本都返回预测时能提升准确率。我们进一步表明，校准模型在不同任务之间具有一定程度的可迁移性。