探索大语言模型对改写的鲁棒性：基于人口统计学因素的分析
计算与语言
2025-07-08 v2
摘要
尽管大语言模型展现出语言能力，但被证明对小输入扰动脆弱。虽然对局部对抗性改变的鲁棒性已被研究，但对全局修改（如不同语言风格）的鲁棒性仍未得到充分探讨。因此，我们采取更广泛的ethods，探索跨人口统计学维度的更广泛变化。我们将 SocialIQA 数据集扩展，创建基于人口统计学因素（年龄和性别）的多样化改写数据集。评估旨在更深入地理解大语言模型在（a）生成带 engineered prompts 的人口统计学改写能力，以及（b）解释真实世界复杂语言情境的能力。我们还对生成的改写进行可靠性分析，考察其语言多样性和 perplexity，以及手动评估。我们发现，基于人口统计学的改写显著影响语言模型的性能，表明语言变异的细微差别仍是一个重大的挑战。我们将在未来研究中提供代码和数据集。
引用
@article{arxiv.2501.08276,
title = {Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors},
author = {Pulkit Arora and Akbar Karimi and Lucie Flek},
journal= {arXiv preprint arXiv:2501.08276},
year = {2025}
}