部分随机化 Transformer 权重以增强对话响应多样性
计算与语言
2023-11-21 v1
摘要
尽管生成式开放域对话近期取得进展，低响应多样性问题依然存在。先前工作通过新颖目标函数、变分框架等替代学习方法，或 Randomized Link（RL）Transformer 等架构扩展来解决该问题。然而，这些方法通常要么在训练/推理中带来额外困难，要么显著增大模型规模与复杂度。因此，我们提出 \underline{Pa}rtially \underline{Ra}ndomized trans\underline{Former}（PaRaFormer），一种 Transformer 的简单扩展，其在随机初始化后冻结所选层的权重。实验结果显示，尽管未带来任何额外训练困难或模型复杂度增加，PaRaFormer 的性能可与上述方法相媲美。
引用
@article{arxiv.2311.10943,
title = {Partially Randomizing Transformer Weights for Dialogue Response Diversity},
author = {Jing Yang Lee and Kong Aik Lee and Woon-Seng Gan},
journal= {arXiv preprint arXiv:2311.10943},
year = {2023}
}