EtiCor：用于分析 LLM 礼仪能力的语料库
计算与语言
2023-10-31 v1 人工智能
机器学习
摘要
礼仪是人们日常交往中不可或缺的要素。此外，礼仪具有地域性，某一地区的礼仪可能与其他地区相冲突。本文提出 EtiCor，一个礼仪语料库（Etiquettes Corpus），包含来自全球五个不同地区关于社会规范的文本。该语料库为评估 LLM 对地域性礼仪的知识与理解提供了测试平台。此外，我们提出了礼仪敏感性（Etiquette Sensitivity）任务。我们使用最先进的 LLM（Delphi、Falcon40B 和 GPT-3.5）进行实验。初步结果表明，LLM 大多无法理解来自非西方世界的礼仪。
引用
@article{arxiv.2310.18974,
title = {EtiCor: Corpus for Analyzing LLMs for Etiquettes},
author = {Ashutosh Dwivedi and Pradhyumna Lavania and Ashutosh Modi},
journal= {arXiv preprint arXiv:2310.18974},
year = {2023}
}
备注
Accepted at EMNLP 2023, Main Conference