面向 AI 文本标注的结构漏洞与可靠性挑战：基于调查方法的框架与独立概率评估

尽管大型语言模型功能强大，但其因因果 transformer 结构而存在根本性结构漏洞——顺序敏感性。这一结构约束可能在提示元素（如标签选项）重新排序时扭曲分类结果，揭示了准确率指标与真实模型可靠性之间的理论差距。本文从调查方法的视角阐释了这一漏洞，其中受访者偏差类比为 LLM 的位置依赖性。实证研究基于 F1000 生物医学数据集，对三种规模的 LLaMA3.1 模型 (8B、70B、405B) 进行测试，证明这些结构约束在受控扰动下会导致标注不一致。本文提出一种实用解决方案——独立概率评估 (Independent Probability Assessment)，通过解耦标签评估以规避序列处理中固有的顺序偏差。该方法产生一种信息论可靠性度量 (R-score)，用于衡量标注在案例层面的鲁棒性。研究结果表明，因果 transformer 的结构漏洞需要超越准确率指标的方法论创新才能确保社会科学推断的有效性，本文通过下游回归分析证明，顺序敏感的标注显著改变了关于科学影响的实质性结论。