记忆增强生成对抗变换器
计算与语言
2024-03-01 v1
摘要
依赖大型语言模型（如变换器）的对话式AI系统难以将外部数据（如事实）与生成的语言交织在一起。普通变换器架构并非为高精度回答事实性问题而设计。本文探讨了解决该问题的一种可能途径。我们提出在标准变换器架构中扩展一个额外的记忆库，用于存储额外信息（如从知识库中提取的事实），并增加一个额外的注意力层来处理该记忆。我们将这种增强记忆添加到受生成对抗网络启发的变换器架构中。这种设置允许对变换器生成的语言施加任意适切性条件。我们首先展示了如何利用该机制处理目标导向对话中的事实性问题。其次，我们证明了该方法也可用于诸如风格适应之类的应用：根据某些风格性（外部）约束（如对话中人类对话者的社会属性）调整话语。
引用
@article{arxiv.2402.19218,
title = {Memory-Augmented Generative Adversarial Transformers},
author = {Stephan Raaijmakers and Roos Bakker and Anita Cremers and Roy de Kleijn and Tom Kouwenhoven and Tessa Verhoef},
journal= {arXiv preprint arXiv:2402.19218},
year = {2024}
}