ChatGPT 也能理解吗？ChatGPT 与微调 BERT 的对比研究
计算与语言
2023-03-03 v2
摘要
近期，ChatGPT 引起了极大关注，因为它能对人类询问生成流畅且高质量的回复。若干先前研究表明，与现有模型相比，ChatGPT 获得了卓越的生成能力。然而，对 ChatGPT 理解能力的定量分析却鲜受关注。在本报告中，我们通过在最流行的 GLUE 基准上评估 ChatGPT，并将其与 4 个具代表性的微调 BERT 风格模型进行比较，来探究 ChatGPT 的理解能力。我们发现：1) ChatGPT 在处理释义与相似度任务上有所不足；2) ChatGPT 在推理任务上大幅优于所有 BERT 模型；3) ChatGPT 在情感分析与问答任务上取得与 BERT 相当的表现。此外，通过结合一些高级提示策略，我们表明 ChatGPT 的理解能力可得到进一步提升。
引用
@article{arxiv.2302.10198,
title = {Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT},
author = {Qihuang Zhong and Liang Ding and Juhua Liu and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2302.10198},
year = {2023}
}
备注
Work in progress. Added results of advanced prompting strategies, e.g., CoT. (19 pages)