探查大语言模型的创造力：模型能否产生发散性语义联想？
计算与语言
2023-10-18 v1 机器学习
摘要
大语言模型具备卓越的语言处理能力，但这些模型是否能进一步生成创造性内容仍不清楚。本研究旨在从认知视角探究大语言模型的创造性思维。我们利用发散联想任务（DAT），一种客观衡量创造力的方法，要求模型生成不相关的词并计算它们之间的语义距离。我们比较了不同模型与解码策略下的结果。我们的发现表明：(1) 在使用贪心搜索策略时，GPT-4 优于 96% 的人类，而 GPT-3.5-turbo 超过平均人类水平。(2) 除 GPT-4 外，随机采样与温度缩放能有效获得更高的 DAT 分数，但面临创造力与稳定性之间的权衡。这些结果意味着先进的大语言模型具有发散性语义联想，这是创造力背后的基本过程。
引用
@article{arxiv.2310.11158,
title = {Probing the Creativity of Large Language Models: Can models produce divergent semantic association?},
author = {Honghua Chen and Nai Ding},
journal= {arXiv preprint arXiv:2310.11158},
year = {2023}
}
备注
Accepted for publication in Findings of EMNLP 2023