“生成语言”与齐夫定律:ChatGPT生成的语言在统计上是否像人类语言?
计算与语言
2023-04-25 v1
摘要
OpenAI的GPT-4是一个大语言模型(LLM),能够生成连贯的构造语言或“conlangs”,我们提议当其为人工智能(AI)生成时称之为“genlangs”(生成语言)。本研究由ChatGPT创建的生成语言(Voxphera、Vivenzia和Lumivoxa)各自具有独特特征,表面连贯,并可合理地“翻译”为英文。本研究考察ChatGPT创建的生成语言是否遵循齐夫定律。齐夫定律近似适用于所有自然及人工构造的人类语言。根据齐夫定律,文本语料库中的词频与其在频率表中的排名成反比。这意味着最频繁出现的词出现的频率约为第二频繁词的两倍,第三频繁词的三倍,依此类推。我们假设齐夫定律对生成语言成立,因为(1)ChatGPT创建的生成语言在若干令牌的语义有用性方面与人类语言运作方式根本相同,且(2)ChatGPT已在包含多种不同语言的文本语料库上训练,这些语言均在不同程度上表现出齐夫定律。通过统计语言学,我们旨在理解基于LLM的语言在统计上是否像人类语言。我们的发现表明生成语言紧密遵循齐夫定律,支持了ChatGPT创建的生成语言展现出与自然及人工人类语言相似统计特性的假设。我们还得出结论:在人类的协助下,AI已能够创建世界上首个功能完备的生成语言,并呼吁其发展。
引用
@article{arxiv.2304.12191,
title = {"Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?},
author = {Justin Diamond},
journal= {arXiv preprint arXiv:2304.12191},
year = {2023}
}
备注
10 pages, 7 figures, link to text corpora and source code available