在算法推理上对ChatGPT的基准测试
人工智能
2024-04-18 v2 计算与语言
机器学习
摘要
我们评估了ChatGPT解决CLRS基准测试套件中算法问题的能力，该套件是为GNN设计的。该基准测试要求使用指定的经典算法来解决给定问题。我们发现ChatGPT优于专门的GNN模型，使用Python成功解决了这些问题。这在关于使用神经网络学习算法以及我们如何看待网络规模训练数据的分布外测试的讨论中提出了新的观点。
引用
@article{arxiv.2404.03441,
title = {Benchmarking ChatGPT on Algorithmic Reasoning},
author = {Sean McLeish and Avi Schwarzschild and Tom Goldstein},
journal= {arXiv preprint arXiv:2404.03441},
year = {2024}
}