迈向文化可解释性:描述与评估大语言模型(LLMs)的语言人类学框架
计算机与社会
2024-11-11 v1 计算与语言
人机交互
机器学习
摘要
本文提出了一种将语言人类学与机器学习(ML)相结合的新整合方法,围绕两者在语言基础以及使语言技术更具社会责任方面的共同兴趣展开。虽然语言人类学侧重于解读人类语言使用的文化基础,但机器学习领域的可解释性关注的是揭示大型语言模型(LLMs)从人类语言行为中学习到的模式。通过分析人类用户与基于LLM的聊天机器人之间的对话,我们展示了一种新的联合研究领域——文化可解释性(CI)——的理论可行性。通过关注人机交互的表达界面中人类用户与AI聊天机器人共同生成意义所涉及的交际能力,CI强调语言与文化之间的动态关系如何使上下文敏感的开放式对话成为可能。我们提出,通过考察LLMs如何在内部"表征"语言与文化之间的关系,CI可以:(1)为关于这些关系模式化的长期语言人类学问题提供洞见;以及(2)帮助模型开发者和界面设计者改善语言模型与风格多样的说话者及文化多样的言语社区之间的价值对齐。我们的讨论提出了三个关键研究轴线:相对性、变异性和指示性。
引用
@article{arxiv.2411.05200,
title = {Toward Cultural Interpretability: A Linguistic Anthropological Framework for Describing and Evaluating Large Language Models (LLMs)},
author = {Graham M. Jones and Shai Satran and Arvind Satyanarayan},
journal= {arXiv preprint arXiv:2411.05200},
year = {2024}
}
备注
Accepted for publication in Big Data & Society, November 2, 2024