Probing the contents of semantic representations from text, behavior, and brain data using the psychNorms metabase

Zak Hussain; Rui Mata; Ben R. Newell; Dirk U. Wulff

Probing the contents of semantic representations from text, behavior, and brain data using the psychNorms metabase

计算与语言 2024-12-09 v1 人工智能机器学习

作者: Zak Hussain , Rui Mata , Ben R. Newell , Dirk U. Wulff

摘要

语义表示是自然语言处理、心理语言学和人工智能的核心组成部分。虽然通常源自互联网文本，但近年来基于行为（如自由联想）和基于脑（如fMRI）的表示方法日益流行，这些方法有望提升我们测量和建模人类表征的能力。我们对从文本、行为和脑数据中导出的语义表示之间的相似性和差异进行了首次系统性评估。通过表征相似性分析，我们表明来自行为和脑数据的词向量编码了与其文本来源不同的信息。此外，借助我们的psychNorms元数据库以及我们称为表征内容分析的不可解释性方法，我们发现行为表示尤其在某些情感性、主体性和社会道德维度上捕捉到了独特的方差。因此，我们确立了行为作为文本之外捕捉人类表征和行为的重要补充。这些结果广泛适用于旨在学习人类对齐语义表示的研究，包括评估和对齐大型语言模型的工作。

关键词

语义表示文本行为脑数据表征相似性分析 psychNorms元数据库大型语言模型人类对齐表示 fMRI 行为表示

引用

@article{arxiv.2412.04936,
  title  = {Probing the contents of semantic representations from text, behavior, and brain data using the psychNorms metabase},
  author = {Zak Hussain and Rui Mata and Ben R. Newell and Dirk U. Wulff},
  journal= {arXiv preprint arXiv:2412.04936},
  year   = {2024}
}

备注

13 pages, 5 figures, 2 tables

Probing the contents of semantic representations from text, behavior, and brain data using the psychNorms metabase

摘要

关键词

引用

备注

相关论文