表征人类与大型语言模型的创作过程
人机交互
2024-06-07 v2 人工智能
计算与语言
神经元与认知
摘要
大型语言模型(LLM)表现出相当高的创造力，在创作任务上通常与普通人类表现相当。然而，关于LLM创造力的研究仅关注产物，很少关注创作过程。对人类创造力的过程分析通常需要手工编码的类别或利用响应时间，这些都不适用于LLM。我们提供了一种自动化方法，以表征人类和LLM在替代用途任务上如何探索语义空间，并与言语流畅性任务中的行为进行对比。我们使用句子嵌入来识别响应类别并计算语义相似度，以此生成跳跃廓形。我们的结果证实了早期在人类中的工作，报告了通向创造力的持久（在少数语义空间中进行深度搜索）和灵活（在多个语义空间中进行广泛搜索）两种路径，且这两种路径导致相似的创造力得分。我们发现LLM偏向于持久或灵活路径，这在不同的任务中有所变化。尽管LLM作为一个群体与人类廓形相匹配，但它们与创造力的关系是不同的，其中更灵活的模型在创造力上得分更高。我们的数据集和脚本可在GitHub上获取。
引用
@article{arxiv.2405.00899,
title = {Characterising the Creative Process in Humans and Large Language Models},
author = {Surabhi S. Nath and Peter Dayan and Claire Stevenson},
journal= {arXiv preprint arXiv:2405.00899},
year = {2024}
}