关于基于提示的多任务学习中社会偏见的度量
计算与语言
2022-05-25 v1 计算机与社会
摘要
在混合了 NLP 任务并使用提示转换为文本到文本格式的大规模语言模型上训练，可以泛化到新颖的语言形式并处理新任务。提示工程领域内大量工作试图理解输入形式和提示在取得优越性能方面的影响。我们考虑一种替代度量，并探究输入的编码方式是否影响输出中所助长的社会偏见。本文中，我们研究 T0，一个使用基于提示的学习训练的大规模多任务文本到文本语言模型。我们考虑两种语义等价输入的不同形式：问答格式与前提-假设格式。我们对前者使用已有的偏见基准 BBQ，并创建了自然语言推理中首个手写假设的偏见基准 BBNLI，同时将每个基准转换为另一种形式。在两个基准上的结果表明，给定本质相同的输入的两种不同表述，T0 在问答形式（训练中出现过）中明显比前提-假设形式（与其训练样本不同）表现出更强的偏见。代码与数据发布于 https://github.com/feyzaakyurek/bbnli。
引用
@article{arxiv.2205.11605,
title = {On Measuring Social Biases in Prompt-Based Multi-Task Learning},
author = {Afra Feyza Akyürek and Sejin Paik and Muhammed Yusuf Kocyigit and Seda Akbiyik and Şerife Leman Runyun and Derry Wijaya},
journal= {arXiv preprint arXiv:2205.11605},
year = {2022}
}
备注
Findings of NAACL 2022