ChatGPT是通用自然语言处理任务求解器吗？
计算与语言
2023-11-21 v3 人工智能
摘要
受规模进步的推动，大语言模型（LLM）已展现出以零样本方式执行多种自然语言处理（NLP）任务的能力——即无需在下游数据上适配。近来，ChatGPT的亮相引起了NLP界的极大关注，因为它能对人工输入生成高质量回复，并基于后续对话自我纠正先前错误。然而，ChatGPT能否作为可执行众多NLP任务零样本的通才模型尚不可知。在本工作中，我们通过其在涵盖7类代表性任务的20个流行NLP数据集上的评估，实证分析了ChatGPT的零样本学习能力。通过大量实证研究，我们展示了当前版本ChatGPT的有效性与局限性。我们发现ChatGPT在诸多偏重推理能力的任务（如算术推理）上表现良好，而在解决序列标注等特定任务时仍面临挑战。我们还通过定性案例研究提供了深入分析。
引用
@article{arxiv.2302.06476,
title = {Is ChatGPT a General-Purpose Natural Language Processing Task Solver?},
author = {Chengwei Qin and Aston Zhang and Zhuosheng Zhang and Jiaao Chen and Michihiro Yasunaga and Diyi Yang},
journal= {arXiv preprint arXiv:2302.06476},
year = {2023}
}