形式意识网络通过可解释人类与 GPT 评估者的创意评分预测
人工智能
2024-12-03 v1 计算与语言
机器学习
摘要
创意是人类认知的基本技能。我们使用文本形式意识网络（TFMN）从约一千篇人类与 GPT3.5 生成的短篇故事中提取网络（语义/语法关联）和情感特征。通过可解释人工智能（XAI），我们测试是否能够通过 XAI 方法识别的特征模式解释由人类和 GPT-3.5 分配的创意评分。使用 XGBoost，我们检验三种情景：（i）人类对人类故事的评级，（ii）GPT-3.5 对人类故事的评级，（iii）GPT-3.5 对 GPT 生成的故事的评级。我们的发现表明，GPT-3.5 的评级不仅在相关性方面与人类评级存在显著差异，而且因为特征模式而不同。GPT-3.5 偏好“自己的”故事，并以不同于人类的方式对人类故事进行评级。基于 SHAP 分数的特征重要性分析显示：（i）网络特征在人类创意评级以及 GPT-3.5 对人类故事的评级中更具预测力；（ii）情感特征在 GPT-3.5 评级其自身故事时发挥更大作用，优于语义/语法网络结构。这些定量结果凸显了 GPT-3.5 在与人类创意评估相吻合方面的关键局限性。我们强调，在使用 GPT-3.5 评估和生成创意内容时需要谨慎，因为它尚未捕捉到人类创意所特有的细微复杂性。
引用
@article{arxiv.2412.00530,
title = {Forma mentis networks predict creativity ratings of short texts via interpretable artificial intelligence in human and GPT-simulated raters},
author = {Edith Haim and Natalie Fischer and Salvatore Citraro and Giulio Rossetti and Massimo Stella},
journal= {arXiv preprint arXiv:2412.00530},
year = {2024}
}