构建一位哲学家的语言模型
计算与语言
2023-05-10 v2 人工智能
摘要
大型语言模型能否被训练以生成难以与人类哲学家所撰文本区分的哲学文本？为回答此问题，我们使用哲学家 Daniel C. Dennett 的著作作为额外训练数据对 OpenAI 的 GPT-3 进行微调。为探究该 Dennett 模型，我们向真实的 Dennett 提出十个哲学问题，并将同样问题交由语言模型回答，每个问题收集四条回复且未作筛选。我们招募了 425 名参与者来区分 Dennett 的回答与四条机器生成的回答。Dennett 著作专家（N = 25）成功率为 51%，高于 20% 的随机水平，但低于我们假设的 80% 正确率。在十个问题中的两个上，语言模型生成的至少一条回答被专家选中的频率高于 Dennett 本人的回答。哲学博客读者（N = 302）表现与专家相近，而普通研究参与者（N = 98）在区分 GPT-3 的回答与“真实人类哲学家”的回答时接近随机水平。
引用
@article{arxiv.2302.01339,
title = {Creating a Large Language Model of a Philosopher},
author = {Eric Schwitzgebel and David Schwitzgebel and Anna Strasser},
journal= {arXiv preprint arXiv:2302.01339},
year = {2023}
}
备注
Earlier version (Nov 2, 2022) available at http://www.faculty.ucr.edu/~eschwitz/SchwitzPapers/GPT-3-Dennett-221102.pdf; stable URL for updated versions http://faculty.ucr.edu/~eschwitz/SchwitzAbs/GPT3Dennett.htm