ChatGPT 读过什么？生成式人工智能应用所用考古学引用的来源考察
人工智能
2023-08-08 v1 信息论
math.IT
摘要
ChatGPT 的公开发布引发了大量关注，并广泛讨论了生成式 AI 语言模型的有用性与能力。其从文本来源中提取和总结数据并以类人的上下文回应呈现的能力，使其成为回答用户可能提出问题的极为合适的工具。本文测试了 ChatGPT 训练阶段似乎已包含的考古学文献。尽管 ChatGPT 提供了看似相关的参考文献，但很大比例被证明是虚构的。利用完形填空分析对生成式 AI 模型“记忆”的来源进行推断，本文无法证明 ChatGPT 能访问真实参考文献的全文。可以表明，ChatGPT 提供的所有被发现为真实的参考文献也都曾在维基百科页面上被引用。这强烈表明，至少部分数据的来源基础可在那些页面中找到。本文讨论了这在数据质量方面的启示。
引用
@article{arxiv.2308.03301,
title = {What has ChatGPT read? The origins of archaeological citations used by a generative artificial intelligence application},
author = {Dirk HR Spennemann},
journal= {arXiv preprint arXiv:2308.03301},
year = {2023}
}