从 12 种机器学习模型中提取政治文本经济意识形态的比较见解
计算与语言
2025-01-17 v1
摘要
本研究对 12 种机器学习模型及其变体在检测经济意识形态方面的能力进行了系统评估。作为评估基准，我使用了涵盖英国六次选举的宣言数据，这些数据已由专家和众包编码员预先标注。分析在细粒度和聚合层面上评估了几种生成式、微调和零样本模型的性能。结果表明，诸如 GPT-4o 和 Gemini 1.5 Flash 等生成式模型在所有基准上均持续优于其他模型。然而，它们带来了可访问性和资源可用性方面的问题。微调产生了具有竞争力的性能，并通过特定领域的优化提供了可靠的替代方案。但其对训练数据的依赖严重限制了可扩展性。零样本模型在识别经济意识形态信号方面持续面临困难，通常导致与人工编码呈负相关。将通用知识用于意识形态量化的特定领域任务被证明是不可靠的。其他主要发现包括党内存在显著差异、微调受益于更大量的训练数据，以及零样本对提示内容的敏感性。评估包含了每个模型的优势与局限性，并为政治内容的自动化分析推导出了最佳实践。
引用
@article{arxiv.2501.09719,
title = {Comparative Insights from 12 Machine Learning Models in Extracting Economic Ideology from Political Text},
author = {Jihed Ncib},
journal= {arXiv preprint arXiv:2501.09719},
year = {2025}
}