代码模型是否受到达克鲁格效应的影响？
人工智能
2025-10-08 v1 计算与语言
软件工程
摘要
随着人工智能系统在创意和技术领域日益与人类协作，关于塑造我们共同行动主体的认知边界和偏差的问题日益凸显。本文探讨了达克鲁格效应 (DKE)，即在编码任务中，具有有限能力者会高估其在最先进大语言模型中的能力。通过分析模型置信度和在多样化编程语言中的性能，我们发现AI模型模仿了人类的高置信模式，尤其是在不熟悉或资源较少的领域。我们的实验表明，能力较差的模型以及在稀有编程语言中运行的模型表现出更强的DKE-like偏差，表明该偏差强度与模型能力成正比。
引用
@article{arxiv.2510.05457,
title = {Do Code Models Suffer from the Dunning-Kruger Effect?},
author = {Mukul Singh and Somya Chatterjee and Arjun Radhakrishna and Sumit Gulwani},
journal= {arXiv preprint arXiv:2510.05457},
year = {2025}
}