评估大型语言模型的泰卢固语言熟练程度：ChatGPT与Gemini的比较分析
计算与语言
2025-01-30 v2 人机交互
摘要
大型语言模型（LLM）的兴起 necessitates 对其英语之外的能力进行探索。本研究检讨ChatGPT和Gemini两种主流LLM的泰卢克语（Telugu）语言熟练程度。通过设计一套包含问候语、语法、词汇、常见短语、任务完成以及情境推理等20个问题的测试集，研究深入探讨了这两种模型在处理泰卢克语方面的优势与不足。分析旨在识别在语法结构理解、词汇 breadth 以及写作与推理等任务中表现更佳的模型。通过比较它们理解和使用日常泰卢克语表达的能力，研究为实践中语言交互的适用性提供了见解。此外，对其适应性与推理能力的评估提供了关于每种模型如何利用泰卢克语作出动态回应的洞见。这种比较分析为讨论AI中多语言能力的持续议题贡献了力量，为开发能够无缝融合泰卢克语使用者社区的LLM指明了道路。
引用
@article{arxiv.2404.19369,
title = {Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini},
author = {Katikela Sreeharsha Kishore and Rahimanuddin Shaik},
journal= {arXiv preprint arXiv:2404.19369},
year = {2025}
}
备注
Disparities in fundamental understandings about the article between the authors