采纳来自 ChatGPT 的建议

越来越多的文献研究人类如何采纳来自算法的建议。本研究考察了一种拥有数百万日活用户的算法：ChatGPT。在一项预先注册的研究中，118 名学生参与者回答了跨越 25 个学科主题的 2,828 道选择题。参与者接受来自 GPT 模型的建议，并可以更新其初始回答。顾问的身份（“AI 聊天机器人” versus 人类“专家”）、书面理由的存在以及建议的正确性对建议权重没有显著影响。相反，如果参与者（1）不熟悉该主题，（2）过去使用过 ChatGPT，或（3）先前接收到更准确的建议，他们会更看重建议。后两种效应——算法熟悉度与经验——在 AI 聊天机器人作为顾问时更强。接收到书面理由的参与者能够辨别正确建议并相应更新。学生参与者对其关于 ChatGPT 建议准确性的判断存在校准偏差；其中一个原因是他们在 25 个主题中的 11 个上显著误判了 ChatGPT 的准确性。参与者对建议的权重低估超过 50%，并且可以通过更多地信任 ChatGPT 而取得更好成绩。