识别自动生成测试内容中的公平性问题

自然语言生成工具在内容生成方面功能强大且高效。然而，语言模型已知存在偏见和公平性问题，这使得它们在许多应用场景中难以部署。本文聚焦于公平性问题如何影响自动生成的测试内容，这类内容有严格要求以确保测试仅测量其预期目标。具体而言，我们审查了为大规模标准化英语水平测试生成的内容，目标是识别仅适用于测试人群特定子集的内容，以及可能令部分考生感到不安或分心的内容。此类问题可能无意中影响考生的分数，因此应予以避免。这类内容并不反映更常见的偏见，即使对于包含安全措施的现代模型也构成挑战。我们构建了一个包含601条生成文本的数据集，并标注了公平性，探索了多种分类方法：微调、基于主题的分类以及提示（包括少样本和自纠正提示）。我们发现，结合提示自纠正和少样本学习效果最佳，在保留测试集上F1得分为0.79，而更小的基于BERT和主题的模型在域外数据上具有竞争力的性能。