SBERT研究意义表示：将句子嵌入分解为可解释的语义特征
计算与语言
2025-10-17 v2 人工智能
摘要
基于大型预训练语言模型（如S(entence)BERT）的模型提供了高效且有效的句子嵌入，其与人类相似度评分高度相关，但缺乏可解释性。另一方面，基于图的意义表示（例如抽象意义表示，AMR）的图度量能够显式刻画两个句子在语义上相似的具体方面。然而，此类度量往往速度慢、依赖解析器，且在句子相似度评分上无法达到最先进（SOTA）性能。本工作中，我们旨在兼得二者之长，通过学习诱导出义构句子BERT嵌入（SBERT）。我们的SBERT嵌入由强调各类语义句子特征（如语义角色、否定或量化）的可解释子嵌入构成。我们展示了如何i）通过逼近一组可解释的AMR图度量，学习将句子嵌入分解为语义特征；以及如何ii）通过以强制与SBERT教师模型相似度评分一致的第二目标来控制分解学习过程，保留神经嵌入的整体能力。在我们的实验研究中，我们表明该方法在完全保留神经句子嵌入有效性与高效性的同时，提供了可解释性。
引用
@article{arxiv.2206.07023,
title = {SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features},
author = {Juri Opitz and Anette Frank},
journal= {arXiv preprint arXiv:2206.07023},
year = {2025}
}
备注
to appear in AACL 2022 (main)