中文

PE:一种用于快速文本层次结构生成的庞加莱解释方法

计算与语言 2024-06-13 v2 人工智能

摘要

深度学习模型在自然语言处理(NLP)中的黑箱特性阻碍了其广泛应用。研究重点已转向层次归因(Hierarchical Attribution, HA),因其能够建模特征交互。近期工作在欧几里得空间中通过耗时巨大的贪婪搜索来建模非连续组合,忽略了特征表示中潜在的语言信息。在本工作中,我们引入了一种新颖的方法,即庞加莱解释(Poincare Explanation, PE),以时间高效的方式利用双曲空间建模特征交互。具体而言,我们将构建文本层次结构视为在双曲空间中寻找生成树。首先,我们将嵌入投影到双曲空间中,以引出固有的语义和句法层次结构。然后,我们提出一种简单而有效的策略来计算 Shapley 值。最后,我们构建层次结构,证明在投影空间中的构建过程可被视为构建最小生成树,并引入一种时间高效的构建算法。实验结果证明了我们方法的有效性。

关键词

引用

@article{arxiv.2403.16554,
  title  = {PE: A Poincare Explanation Method for Fast Text Hierarchy Generation},
  author = {Qian Chen and Dongyang Li and Xiaofeng He and Hongzhao Li and Hongyu Yi},
  journal= {arXiv preprint arXiv:2403.16554},
  year   = {2024}
}