扩展深度 NLP 模型中潜在概念的发现规模
计算与语言
2024-02-02 v2
摘要
尽管深度 NLP 模型引发了变革，它们仍是黑盒，亟需研究以理解其决策过程。Dalvi 等人（2022）近期的工作通过预训练模型（PLMs）内潜在空间聚类的视角进行表示分析，但该方法因凝聚式层次聚类的高计算成本而限于小规模。本文研究聚类算法，以将 PLM 表示中编码概念的发现扩展到更大数据集与模型。我们提出评估所发现潜在概念质量的指标，并用以比较所研究的聚类算法。我们发现基于 K-Means 的概念发现显著提升了效率，同时保持所获概念的质量。此外，我们将此新效率的实用性展示为：将潜在概念发现扩展到 LLMs 与短语级概念。
引用
@article{arxiv.2308.10263,
title = {Scaling up Discovery of Latent Concepts in Deep NLP Models},
author = {Majd Hawasly and Fahim Dalvi and Nadir Durrani},
journal= {arXiv preprint arXiv:2308.10263},
year = {2024}
}
备注
14 pages, accepted to The 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2024)