AI 作为人类的萨列里: 通过系统归因机器文本与网络文本来量化语言模型的语言创造力
计算与语言
2025-01-14 v2
摘要
创造力长期以来一直被认为是人类智能中最难被AI模仿的方面之一。然而,像ChatGPT这样的大型语言模型(LLM)的兴起,引发了关于AI能否匹敌甚至超越人类创造力的疑问。我们提出创造力指数(CREATIVITY INDEX),作为通过从网络上的现有文本片段重构文本来量化文本语言创造力的第一步。创造力指数基于这样一个假设:LLM看似卓越的创造力可能在很大程度上归因于网络上人类撰写文本的创造力。为了高效计算创造力指数,我们引入了DJ SEARCH,一种新颖的动态规划算法,可以搜索给定文档中的文本片段与网络上的逐字或近似逐字匹配。实验表明,专业人类作者的创造力指数平均比LLM高66.2%,而对齐(alignment)使LLM的创造力指数平均降低30.1%。此外,我们发现像海明威这样的杰出作家与其他人类作家相比,其创造力指数可测量地更高。最后,我们证明创造力指数可以作为一个出奇有效的零样本机器文本检测标准,其性能显著超越了现有最强的零样本系统DetectGPT(提升30.2%),甚至在六个领域中的五个领域内超越了最强的监督系统GhostBuster。
引用
@article{arxiv.2410.04265,
title = {AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text},
author = {Ximing Lu and Melanie Sclar and Skyler Hallinan and Niloofar Mireshghallah and Jiacheng Liu and Seungju Han and Allyson Ettinger and Liwei Jiang and Khyathi Chandu and Nouha Dziri and Yejin Choi},
journal= {arXiv preprint arXiv:2410.04265},
year = {2025}
}