TX-Ray：量化与解释（无）监督 NLP 中的模型知识迁移
机器学习
2020-06-22 v3 计算与语言
机器学习
摘要
尽管最先进的 NLP 可解释性（XAI）方法侧重于解释有监督端到端或探测任务中的逐样本决策，但这不足以解释和量化（无）监督训练过程中的模型知识迁移。因此，对于 TX-Ray，我们修改了计算机视觉可解释性中已确立的“可视化神经元偏好输入”原则，使其可用于迁移分析与 NLP。这使得人们能够分析、追踪并量化自监督或有监督 NLP 模型如何首先在预训练中构建知识抽象（1），然后将这些抽象迁移到新领域（2），或在有监督微调中调整它们（3）。TX-Ray 将神经元表示为特征偏好分布，以量化细粒度知识迁移或适应并指导人工分析。我们发现，类似于基于 Lottery Ticket 的剪枝，基于 TX-Ray 的剪枝能够提升测试集泛化能力，并且它能揭示自监督的早期阶段如何自动学习诸如词性之类的语言抽象。
引用
@article{arxiv.1912.00982,
title = {TX-Ray: Quantifying and Explaining Model-Knowledge Transfer in (Un-)Supervised NLP},
author = {Nils Rethmeier and Vageesh Kumar Saxena and Isabelle Augenstein},
journal= {arXiv preprint arXiv:1912.00982},
year = {2020}
}