PEACH：基于上下文与层级结构的预训练嵌入解释

在这项工作中，我们提出了一种新颖的基于树的解释技术 PEACH（Pretrained-embedding Explanation Across Contextual and Hierarchical Structure），它可以利用任何预训练上下文嵌入，以基于树的可解释方式解释文本文档是如何被分类的。需要注意的是，PEACH 可以采用任何预训练语言模型（PLM）的上下文嵌入作为决策树的训练输入。使用所提出的 PEACH，我们对九种不同的自然语言处理（NLP）文本分类基准上的几种上下文嵌入进行了全面分析。该分析通过采用多种 PLM 上下文嵌入、其属性选择、缩放和聚类方法，展示了模型的灵活性。此外，我们通过基于人类可解释的词云树可视化特征选择和文本分类的重要过程，展示了解释的实用性，这能清晰地识别模型错误并有助于数据集调试。除了可解释性，PEACH 的性能优于或与预训练模型相当。