真正的定制还是仅仅是营销：定制版 ChatGPT 有用吗？
计算与语言
2023-12-08 v1 人工智能
摘要
大型语言模型（LLM），如 OpenAI ChatGPT-4 Turbo，正在彻底改变包括高等教育在内的多个行业。在此背景下，LLM 可以通过微调过程进行个性化，以满足学生对每个特定学科（如统计学）的需求。最近，OpenAI 推出了通过自然语言 Web 界面微调其模型的功能，使得创建经过刻意条件化以满足特定任务需求的定制 GPT 版本成为可能。本研究的目的是评估 OpenAI 最近推出的定制 GPT 的潜力。在开发了专为 Universidad Pontificia Comillas 学生定制的商业统计虚拟教授（BSVP）后，我们对其行为进行了评估，并与 ChatGPT-4 Turbo 进行了比较。结果得出了几项结论。首先，观察到交流风格发生了实质性改变。遵循其训练所用的指令，BSVP 以更平易近人、友好的语调提供回答，甚至融入了一些小笑话。其次，这是一项相关事宜，当被明确要求做类似“我想练习一个类似于 R 实践 4 中的编程练习”的事情时，BSVP 能够提供好得多的回答：由于能够访问上下文文档，它可以满足该请求，这超出了 ChatGPT-4 Turbo 的能力。不利的一面是，响应时间通常更长。最后，在整体性能、质量、深度以及与课程特定内容的一致性方面，BSVP 和 ChatGPT-4 Turbo 的回答之间没有观察到统计学上的显著差异。看来，使用提示训练的定制助手作为学生的虚拟辅助工具具有优势，但它们并不构成对 ChatGPT-4 Turbo 的实质性改进。
引用
@article{arxiv.2312.03728,
title = {Real Customization or Just Marketing: Are Customized Versions of Chat GPT Useful?},
author = {Eduardo C. Garrido-Merchán and Jose L. Arroyo-Barrigüete and Francisco Borrás-Pala and Leandro Escobar-Torres and Carlos Martínez de Ibarreta and Jose María Ortiz-Lozano and Antonio Rua-Vieites},
journal= {arXiv preprint arXiv:2312.03728},
year = {2023}
}
备注
9 pages, 1 figure, 1 table