利用价值导向数据集使语言模型适应社会的过程（PALMS）
计算与语言
2021-11-24 v2 计算机与社会
摘要
语言模型可能生成有害和带有偏见的输出，并依据特定文化语境表现出不合意的行为。我们提出了一种利用价值导向数据集使语言模型适应社会的过程（Process for Adapting Language Models to Society, PALMS），这是一个通过精心构建并在反映一组预定目标价值的数据集上微调，从而显著改变模型行为的迭代过程。我们使用三项指标评估我们的过程：带人工评估的定量指标（对输出遵循目标价值的程度打分）、输出的毒性评分；以及分析给定社会类别最常见关联词的定性指标。在每次迭代中，我们基于评估中观察到的不足添加额外的训练数据集样本。对于广泛的 GPT-3 语言模型规模，PALMS 在所有指标上均显著优于基线模型和对照模型，且不损害能力完整性。我们发现 PALMS 的有效性随模型规模增大而提升。我们表明，利用小型、人工筛选的数据集显著调整语言模型行为是可行的。
引用
@article{arxiv.2106.10328,
title = {Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets},
author = {Irene Solaiman and Christy Dennison},
journal= {arXiv preprint arXiv:2106.10328},
year = {2021}
}
备注
Both authors contributed equally. Accepted at NeurIPS 2021