大语言模型能否辅助计算机教育？——DeepSeek 案例实证研究
计算机视觉与模式识别
2025-04-02 v1 计算机与社会
摘要
本研究提出了一项实证案例研究，以评估 DeepSeek-V3——一种新兴大型语言模型——在计算机教育情境中的效能与可靠性。评估采用 CCNA 模拟问题以及来自中国网络工程师的真实世界网络安全相关疑问。为确保评估的彻底性，考虑了多个维度，包括角色依赖性、跨语言熟练度以及答案可重复性，并伴随统计分析。研究发现，该模型在是否包含角色定义的提示下表现一致。此外，其跨语言适应性通过在原始数据集和翻译后数据集中保持稳定准确率得到确认。该模型在低阶事实记忆任务与高阶推理练习之间的表现呈现明显差异，这凸显了其在信息检索方面的优势以及在复杂分析任务中的局限。尽管 DeepSeek-V3 在网络安全教育中提供了相当大的实际价值，但在处理多模态数据和解决高度复杂问题方面仍面临挑战。这些结果为未来在专业环境中优化大型语言模型提供了宝贵见解。
引用
@article{arxiv.2504.00421,
title = {Can LLMs Assist Computer Education? an Empirical Case Study of DeepSeek},
author = {Dongfu Xiao and Chen Gao and Zhengquan Luo and Chi Liu and Sheng Shen},
journal= {arXiv preprint arXiv:2504.00421},
year = {2025}
}