ChatGPT-Crawler：探究 ChatGPT 是否真正了解其所言内容
计算与语言
2023-04-10 v1 信息检索
机器学习
摘要
大型语言模型因其在各种任务上的出色表现而引起了广泛关注。在这些模型中，由 OpenAI 开发的 ChatGPT 在早期采用者中变得极为流行，他们甚至将其视为客户服务、教育、医疗和金融等多个领域的颠覆性技术。理解这些初始用户的意见至关重要，因为这可以为该技术在不同领域的潜在优势、劣势以及成败提供有价值的见解。本研究检验了 ChatGPT 从不同对话式问答语料库生成的回答。该研究采用 BERT 相似度得分将这些回答与正确答案进行比较，并获取自然语言推理标签。还计算并比较了评估得分，以确定 GPT-3 和 GPT-4 的整体性能。此外，该研究识别了 ChatGPT 对问题给出错误回答的实例，从而深入了解了模型可能容易出错的领域。
引用
@article{arxiv.2304.03325,
title = {ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about},
author = {Aman Rangapur and Haoran Wang},
journal= {arXiv preprint arXiv:2304.03325},
year = {2023}
}
备注
9 pages, 1 figure, 4 tables