敏感性、性能、鲁棒性：解构社会人口学提示的影响
计算与语言
2024-02-09 v2 人工智能
摘要
标注者的社会人口学背景（即其性别、年龄、教育背景等的个体构成）在从事主观 NLP 任务（如有毒语言检测）时对其决策有强烈影响。异质背景常导致高度不一致。为建模这种差异，近期工作探索了社会人口学提示（sociodemographic prompting），一种将基于提示的模型输出引导至具有特定社会人口学特征的人类会给出的答案的技术。然而，现有 NLP 文献对该技术的有效性存在分歧——尚不清楚它对哪些任务和场景有帮助，且社会人口学提示中个体因素的作用仍未被探索。我们通过呈现当今最大且最全面的社会人口学提示研究来解决这一研究空白。我们分析了其在七个数据集与六个指令微调模型族上对模型敏感性、性能与鲁棒性的影响。我们表明社会人口学信息会影响模型预测，并有助于改善主观 NLP 任务中的零样本学习。然而，其结果因不同模型类型、规模与数据集而有很大差异，且相对于提示表述存在较大方差。最重要的是，我们的结果表明，对于敏感应用（如有毒标注或研究 LLM 对齐时），社会人口学提示应谨慎使用。代码与数据：https://github.com/UKPLab/arxiv2023-sociodemographic-prompting
引用
@article{arxiv.2309.07034,
title = {Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting},
author = {Tilman Beck and Hendrik Schuff and Anne Lauscher and Iryna Gurevych},
journal= {arXiv preprint arXiv:2309.07034},
year = {2024}
}
备注
EACL 2024 camera-ready