CultureBank：面向文化感知语言技术的在线社区驱动知识库
计算与语言
2024-04-24 v1 人工智能
摘要
为了增强语言模型的文化意识，我们设计了一个可泛化的流水线，用于从不同在线社区大规模构建文化知识库。利用该流水线，我们构建了CultureBank，这是一个基于用户自我叙述的知识库，包含来自TikTok的12K个文化描述符和来自Reddit的11K个文化描述符。与以往的文化知识资源不同，CultureBank包含对文化描述符的多种观点，允许对文化知识进行灵活解释，并提供情境化的文化场景以帮助进行有依据的评估。利用CultureBank，我们评估了不同LLM的文化意识，并指出了改进方向。我们还在CultureBank上微调了一个语言模型：实验表明，在零样本设置下，它在两个下游文化任务上取得了更好的性能。最后，我们基于研究结果对未来具有文化意识的语言技术提出了建议。项目页面：https://culturebank.github.io。代码和模型：https://github.com/SALT-NLP/CultureBank。发布的CultureBank数据集：https://huggingface.co/datasets/SALT-NLP/CultureBank。
引用
@article{arxiv.2404.15238,
title = {CultureBank: An Online Community-Driven Knowledge Base Towards Culturally Aware Language Technologies},
author = {Weiyan Shi and Ryan Li and Yutong Zhang and Caleb Ziems and Chunhua yu and Raya Horesh and Rogério Abreu de Paula and Diyi Yang},
journal= {arXiv preprint arXiv:2404.15238},
year = {2024}
}
备注
32 pages, 7 figures, preprint