生成可解释语义文本嵌入的通用框架

Dazhong He; Qian Liu

生成可解释语义文本嵌入的通用框架

人机交互 2024-12-25 v1 人工智能多媒体

作者: Dazhong He , Qian Liu

摘要

语义文本嵌入是自然语言处理（NLP）中许多任务的基础。虽然黑盒模型可以生成高质量的嵌入，但其缺乏可解释性，限制了在需要透明度的任务中的应用。近期方法通过利用领域专家构建或大语言模型（LLM）生成的问题来提高可解释性，但这些方法依赖于专家输入或精心设计的提示，限制了其通用性和在广泛任务中生成高判别力问题的能力。为应对这些挑战，我们提出了CQG-MBQA（对比问题生成-多任务二值问答），一个用于在多种任务中生成可解释语义文本嵌入的通用框架。我们的框架通过CQG方法系统地生成高判别力、低认知负荷的是/否问题，并使用MBQA模型高效地回答这些问题，从而以经济高效的方式生成可解释的嵌入。我们通过大量实验和消融研究验证了CQG-MBQA的有效性和可解释性，结果表明其嵌入质量可与先进的黑盒模型相媲美，同时保持了固有的可解释性。此外，CQG-MBQA在各种下游任务中优于其他可解释的文本嵌入方法。

关键词

interpretable embeddings semantic text embedding contrastive question generation multi-task binary question answering natural language processing

引用

@article{arxiv.2410.03434,
  title  = {Self-supervised Spatio-Temporal Graph Mask-Passing Attention Network for Perceptual Importance Prediction of Multi-point Tactility},
  author = {Dazhong He and Qian Liu},
  journal= {arXiv preprint arXiv:2410.03434},
  year   = {2024}
}

备注

Published as a conference paper at Eurohaptics 2024

生成可解释语义文本嵌入的通用框架

摘要

关键词

引用

备注

相关论文