从全局标签中探测局部信息：基于卷积分解的有监督与零样本序列标注

我们提出了一种更新且更具可操作性的神经网络可解释性与数据分析视角，其利用了深度网络所派生表示的卓越匹配有效性，并以一类条件于类别的特征检测方法为指导。对卷积神经网络与预训练深度网络之上线性层的滤波器-ngram 交互进行分解，可得到一个强二值序列标注器，并能灵活地在——以及为——不同标注粒度产生预测与定义损失函数，范围从全监督序列标注设定到极具挑战的零样本序列标注设定；在零样本设定中，我们寻求词元级预测，但仅有文档级标签用于训练。从该序列标注层我们派生出输入的稠密表示，随后可将其与训练样本或带已知标签的支持集进行匹配。这种带推断时决策规则的内省，在某些设定下提供了一种通过更改支持集中的标签或样本而不必重新训练整个模型来对模型进行局部更新的手段。最后，我们由匹配的样本表示构造了一个特定的 K 近邻（K-NN）模型，其逼近原模型的预测，且相对于真值标签至少是同等有效的预测器。这还在词元级额外产生了可解释的启发式规则，用于判断预测较不可能可靠的情形，以及用于筛除与支持集不相似的输入。实际上，我们表明可将深度网络转化为样本及关联标签上的简单加权，从而得到原模型的一个可内省且可适度更新的版本。