基于大语言模型隐藏状态的心理学人类中心 NLP 任务的作者表示评估
计算与语言
2025-07-21 v1 人工智能
人机交互
机器学习
摘要
就大多数 NLP 而言，针对人类中心 NLP 任务——即尝试评估作者层面信息的任务——的模型主要使用基于 Transformer 的大语言模型隐藏状态派生的表示。然而，所使用的 LM 组件差异很大。此外，还需要那些隐式建模作者并提供用户层面隐藏状态的人类语言模型 (HuLMs)。本文系统评估了不同方式如何使用不同的 LM 和 HuLM 架构来预测任务结果，既作为动态变化的状态，也作为平均的类状用户层面属性（如情绪、唤醒、共情和焦虑）。我们发现，将文档表示为标记隐藏状态的平均值在一般情况下效果最佳。进一步地，尽管用户层面隐藏状态本身很少是最佳表示，但我们发现将其纳入模型会强化用于派生文档和用户层面表示的标记或文档嵌入，从而实现最佳性能。
引用
@article{arxiv.2503.00124,
title = {Evaluation of LLMs-based Hidden States as Author Representations for Psychological Human-Centered NLP Tasks},
author = {Nikita Soni and Pranav Chitale and Khushboo Singh and Niranjan Balasubramanian and H. Andrew Schwartz},
journal= {arXiv preprint arXiv:2503.00124},
year = {2025}
}
备注
To appear in Findings of NAACL 2025