ChatGPT认识多少词？答案是ChatWords
计算与语言
2023-10-02 v1 人工智能
摘要
ChatGPT的推出使人工智能(AI)自然语言处理(NLP)成为焦点。ChatGPT的采用呈指数增长，数百万用户在各式各样的任务与应用领域中对其进行试验，并取得了令人印象深刻的成果。然而，ChatGPT存在局限并会出现幻觉，例如生成看似合理但完全错误的回答。评估ChatGPT及类似AI工具的性能是一个复杂问题，正从多种视角被探讨。在本工作中，我们以ChatWords这一自动化测试系统为这些努力做出贡献，用以评估ChatGPT对任意词集的掌握程度。ChatWords设计为可扩展、易用，并可适配于评估其他NLP AI工具。ChatWords已公开可用，其主要目标是促进关于AI工具词汇知识的研究。ChatWords的益处通过两个案例研究得以阐明：评估ChatGPT对西班牙语词汇(取自“西班牙皇家学院”官方词典)以及塞万提斯所著名著《堂吉诃德》中出现词汇的掌握情况。结果显示，ChatGPT仅能识别词典中约80%的词汇以及《堂吉诃德》中90%的词汇，某些情况下含义有误。本文亦讨论了NLP AI工具的词汇知识之影响及ChatWords的潜在应用，为进一步研究AI工具词汇知识提供方向。
引用
@article{arxiv.2309.16777,
title = {How many words does ChatGPT know? The answer is ChatWords},
author = {Gonzalo Martínez and Javier Conde and Pedro Reviriego and Elena Merino-Gómez and José Alberto Hernández and Fabrizio Lombardi},
journal= {arXiv preprint arXiv:2309.16777},
year = {2023}
}