关于ChatGPT真实能力的综述
计算与语言
2024-05-13 v2 人工智能
摘要
ChatGPT改变了AI社区，而评估ChatGPT的性能是一个活跃的研究方向。评估面临的一个关键挑战是，ChatGPT仍然是闭源的，且传统的基准数据集可能已被ChatGPT用作训练数据。在本文中，我们综述了揭示ChatGPT在七类NLP任务中真实性能水平的近期研究，回顾了ChatGPT的社会影响与安全问题，并强调了其评估面临的关键挑战与机遇。我们希望这篇综述能为其黑盒方式提供一些启示，以免研究人员被其表面生成所误导。
引用
@article{arxiv.2405.00704,
title = {A Survey on the Real Power of ChatGPT},
author = {Ming Liu and Ran Liu and Ye Zhu and Hua Wang and Youyang Qu and Rongsheng Li and Yongpan Sheng and Wray Buntine},
journal= {arXiv preprint arXiv:2405.00704},
year = {2024}
}
备注
18 pages, 2 tables