键值 Transformer
计算机视觉与模式识别
2023-05-31 v1 人工智能
机器学习
摘要
Transformer 已成为计算机视觉和自然语言处理等各种 AI 任务的主流标准解决方案。被广泛采用的查询、键和值公式（QKV）在其中发挥了重要作用。然而，尚无研究考察这三个组件对 Transformer 性能的必要性。因此，我们评估了键值公式（KV），其生成对称注意力图，以及将 2D 位置编码纳入注意力矩阵的非对称版本。值得注意的是，该 Transformer 比原始版本需要更少的参数和计算量。通过涵盖三类任务——合成任务（如反转或排序列表）、视觉（mnist 或 cifar 分类）和 NLP（字符生成与翻译）——的实验，我们发现 KV Transformer 偶尔优于 QKV Transformer。然而，它也存在相对于 QKV 表现不佳的情况，难以得出明确结论。尽管如此，我们认为所报告的结果令人鼓舞，并期望它们可能为未来更高效的 Transformer 铺平道路。
引用
@article{arxiv.2305.19129,
title = {Key-Value Transformer},
author = {Ali Borji},
journal= {arXiv preprint arXiv:2305.19129},
year = {2023}
}