使用 ChatGPT 的多语言旅游辅助:印地语、泰卢固语与卡纳达语能力比较
计算与语言
2023-07-31 v1
摘要
本研究考察了 OpenAI 的 AI 语言模型 ChatGPT 将英语翻译成印地语、泰卢固语和卡纳达语的有效性,旨在协助印度语言多样化环境中的游客。为衡量翻译质量,我们使用了一套涵盖常识、饮食和旅行等多个领域的 50 个问题测试集。由五名志愿者对准确性和流畅度进行评估,随后将得分转换为 BLEU 分数。BLEU 分数评估机器生成翻译与人工翻译的接近程度,分数越高表明翻译质量越好。印地语翻译表现优于其他语言,展现出更高的准确性和流畅度,而泰卢固语翻译则相对落后。人类评估者对翻译的准确性和流畅度进行了评分,从而为该语言模型的表现提供了全面的视角。
引用
@article{arxiv.2307.15376,
title = {Multilingual Tourist Assistance using ChatGPT: Comparing Capabilities in Hindi, Telugu, and Kannada},
author = {Sanjana Kolar and Rohit Kumar},
journal= {arXiv preprint arXiv:2307.15376},
year = {2023}
}
备注
6 pages