通过大语言模型的规则引导提示评估全球历史结构性压迫
计算与语言
2025-11-25 v2 计算机与社会
摘要
传统的历史结构性压迫测量方法在跨国有效性方面困难，因为每个国家都有独特的、在当地指定的排除、殖民和社会地位历史。通常依赖结构化指数，偏向物质资源，却忽视了生活中基于身份的排除。我们引入了一种新框架，利用大语言模型 (LLM) 在不同地缘政治环境下生成生活式历史不利的context-sensitive得分。我们采用来自多语言COVID-19全球研究的非结构化自我认同族裔言语，设计规则引导的提示策略，鼓励模型产生可解释、在理论上有依据的压迫估计。我们在多个state-of-the-art LLM上系统评估了这些策略。我们的结果表明，当受明确规则指导时，大语言模型能够捕捉到国家内部细微的基于身份的历史压迫形式。这种方法提供了一种补充性的测量工具，凸显系统性排除的维度，为理解如何在数据驱动的研究和公共卫生情境中呈现压迫提供了可扩展的、跨文化的视角。为支持可重复的评估，我们发布了一个开源基准数据集，用于评估LLMs在压迫测量方面的表现（https://github.com/chattergpt/HSO-Bench）。
引用
@article{arxiv.2509.15216,
title = {Assessing Historical Structural Oppression Worldwide via Rule-Guided Prompting of Large Language Models},
author = {Sreejato Chatterjee and Linh Tran and Quoc Duy Nguyen and Roni Kirson and Drue Hamlin and Harvest Aquino and Hanjia Lyu and Jiebo Luo and Timothy Dye},
journal= {arXiv preprint arXiv:2509.15216},
year = {2025}
}
备注
To appear in the 2025 IEEE International Conference on Big Data (IEEE BigData 2025)