chatGPT生成的长篇类比缺乏类人的心理语言学特性
计算与语言
2023-06-08 v1
摘要
心理语言学分析提供了一种评估大语言模型（LLM）输出并与人类生成文本进行系统比较的手段。这些方法可用于刻画 LLM 输出的心理语言学特性，并揭示 LLM 相较于人类生成文本存在不足的方面。在本工作中，我们应用心理语言学方法评估有关生化概念的长篇类比中的单个句子。我们将选修生物化学入门课程的学生所生成的类比与 chatGPT 生成的类比进行比较。我们使用从 Coh-metrix 提取的 78 个特征进行有监督分类分析，这些特征分析文本衔接、语言与可读性（Graesser et. al., 2004）。结果表明，对学生生成与 chatGPT 生成的类比进行分类的性能较高。为评估哪些特征对模型性能贡献最大，我们采用层次聚类方法。该分析的结果揭示了两种来源之间的若干语言差异。
引用
@article{arxiv.2306.04537,
title = {Long-form analogies generated by chatGPT lack human-like psycholinguistic properties},
author = {S. M. Seals and Valerie L. Shalin},
journal= {arXiv preprint arXiv:2306.04537},
year = {2023}
}
备注
arxiv version of conference paper to appear at CogSci 2023 conference