使用 PAIR：Population-Aligned Instance Replication 对齐 NLP 模型与目标人群视角

Stephanie Eckman; Bolei Ma; Christoph Kern; Rob Chew; Barbara Plank; Frauke Kreuter

使用 PAIR：Population-Aligned Instance Replication 对齐 NLP 模型与目标人群视角

统计方法学 2025-08-27 v3 计算与语言

作者: Stephanie Eckman , Bolei Ma , Christoph Kern , Rob Chew , Barbara Plank , Frauke Kreuter

摘要

在针对群众征集的注释训练的模型可能不反映人群视角，因为注释者未能代表更广泛的人群。本文提出 PAIR：Population-Aligned Instance Replication，一种后处理方法，通过调整训练数据以更好地反映目标人群特征，而无需收集额外注释。我们在仿真研究中验证了该方法，包括针对侮辱性语言和仇恨言论检测的不同注释者构成情况。我们展示，非代表性注释者池会损害模型校准，同时对准确率影响不大。PAIR 通过复制来自底层注释者群体的注释，以匹配人群比例，从而纠正这些校准问题。我们得出结论，提出改善训练数据代表性和模型性能的建议。

关键词

人群对齐 NLP 模型注释偏差模型校准实例复制

引用

@article{arxiv.2501.06826,
  title  = {Aligning NLP Models with Target Population Perspectives using PAIR: Population-Aligned Instance Replication},
  author = {Stephanie Eckman and Bolei Ma and Christoph Kern and Rob Chew and Barbara Plank and Frauke Kreuter},
  journal= {arXiv preprint arXiv:2501.06826},
  year   = {2025}
}

备注

EMNLP 2025 NLPerspectives Workshop

使用 PAIR：Population-Aligned Instance Replication 对齐 NLP 模型与目标人群视角

摘要

关键词

引用

备注

相关论文