我的 LLM 可能会模仿 AAE——但应该在何时模仿？
计算与语言
2025-02-12 v2
摘要
我们考察了非裔美国人英语（AAE）在大语言模型（LLM）中的表示，探讨了 非裔美国人对这些技术在产生地道 AAE 方面有效性的看法，以及 在何种情境下非裔美国人认为这是可取的。通过对非裔美国人的调查（ 104）以及非裔美国人对 LLM 生成的 AAE 的标注（ 228），我们发现非裔美国人倾向于在决定 LLM 输出中何时使用 AAE 时拥有选择权和自主权。他们倾向于偏好 LLM 在正式场合默认使用美国主流英语进行交流，而在非正式场合对生成 AAE 表现出更大的兴趣。当 LLM 被适当提示并在上下文中提供示例时，我们的参与者认为其输出的 AAE 地道程度与非裔美国人语音记录相当。本项目的部分代码和数据可在此处找到：https://github.com/smelliecat/AAEMime.git
引用
@article{arxiv.2502.04564,
title = {My LLM might Mimic AAE -- But When Should it?},
author = {Sandra C. Sandoval and Christabel Acquaye and Kwesi Cobbina and Mohammad Nayeem Teli and Hal Daumé},
journal= {arXiv preprint arXiv:2502.04564},
year = {2025}
}
备注
Accepted to NAACL 2025