面向鲁棒自然语言生成偏见评估的句法多样化提示方法
计算与语言
2022-12-06 v1
摘要
我们提出了一种用于评估自然语言生成（NLG）系统中偏见的鲁棒方法。以往工作使用固定的手工构建的前缀模板，提及不同人口统计群体，以提示模型生成续写内容用于偏见分析。这些固定的前缀模板本身可能在风格或语言结构上具有特定性，从而可能导致不可靠的公平性结论，无法代表语气各异的提示所带来的总体趋势。为研究该问题，我们对提示进行不同句法结构的改写，并用这些提示评估 NLG 系统中的人口统计偏见。我们的结果表明总体偏见趋势相似，但某些句法结构会导致与以往工作相矛盾的结论。我们证明所提方法更为鲁棒，且某些句法结构会诱发更多有毒内容，而另一些则可能提示偏见更少的生成。这表明不依赖固定句法结构并使用语气不变提示的重要性。引入句法多样化提示可实现更鲁棒的 NLG（偏见）评估。
引用
@article{arxiv.2212.01700,
title = {Towards Robust NLG Bias Evaluation with Syntactically-diverse Prompts},
author = {Arshiya Aggarwal and Jiao Sun and Nanyun Peng},
journal= {arXiv preprint arXiv:2212.01700},
year = {2022}
}
备注
EMNLP Findings 2022