生成式语言模型是否具有多文化特征？——以 Hausa 文化与情感为例的 ChatGPT 研究
计算与语言
2024-07-01 v1
摘要
大型语言模型（LLM），如 ChatGPT，广泛用于为各种目的和受众生成内容。然而，这些模型可能不反映其用户的文化和情感多样性，尤其是针对低资源语言。在本文中，我们调查了 ChatGPT 如何代表 Hausa 的文化和情感。我们将 ChatGPT 生成的响应与 native Hausa 说话者在 37 个文化相关问题上的响应进行比较。我们使用情感分析进行实验，并应用两种相似性度量来衡量人类和 ChatGPT 响应之间的对齐程度。我们还收集了人类参与者对 ChatGPT 响应的评级和反馈。我们的结果显示，ChatGPT 在一定程度上与人类响应相似，但也表现出在 Hausa 文化和情感知识方面存在的一些差距和偏见。我们讨论了方法和分析的局限性，并提出了改进低资源语言下 LLM 性能和评估的方法。
引用
@article{arxiv.2406.19504,
title = {Are Generative Language Models Multicultural? A Study on Hausa Culture and Emotions using ChatGPT},
author = {Ibrahim Said Ahmad and Shiran Dudy and Resmi Ramachandranpillai and Kenneth Church},
journal= {arXiv preprint arXiv:2406.19504},
year = {2024}
}