自条件化预训练语言模型
计算与语言
2023-06-16 v4
摘要
在本文中，我们旨在研究以预训练基于Transformer的语言模型（TLMs）引导文本生成的机制。基于Hinton（1999）的专家乘积公式，我们描述了一种利用TLMs中自然存在的专家单元的生成机制。此类单元负责在输入中检测概念并基于这些概念条件化文本生成。我们描述了如何识别专家单元以及如何在推理期间激活它们，以在生成输出中诱导任意期望的概念。我们发现激活数量少得惊人的单元就足以引导文本生成（在具有345M参数的模型中少至3个单元）。虽然本工作的目标是更多了解TLMs如何工作，我们展示了我们的方法在不微调或使用额外参数的情况下对条件化是有效的，即使在细粒度同形异义概念上也是如此。此外，我们展示了我们的方法可用于纠正TLMs输出中存在的性别偏见，并在所有评估语境下实现性别平等。我们将我们的方法与FUDGE和PPLM-BoW进行比较，并展示我们的方法能够以更低的困惑度实现性别平等。所提方法因其简单性和最小计算需求而可供广大受众使用。本文的发现是理解TLMs生成机制的一步进展。
引用
@article{arxiv.2110.02802,
title = {Self-conditioning pre-trained language models},
author = {Xavier Suau and Luca Zappella and Nicholas Apostoloff},
journal= {arXiv preprint arXiv:2110.02802},
year = {2023}
}
备注
8 pages and supplementary material, accepted at ICML 2022