变压器中的稀疏性与稳态机制
机器学习
2024-12-17 v3 人工智能
摘要
变压器架构已成为现代神经网络领域的核心组成部分，在诸多任务中发挥关键作用，包括文本生成、机器翻译、图像和音频处理等。也有一种替代性智能系统构建方法由Jeff Hawkins提出并灵感来自大脑皮层中发生的过程。在本文中，我们希望将这些想法中的一些结合到变压器的注意力机制中以及变压器块的输出中，同时在变压器的各个环节引入稀疏分布表示进行实验。RFB-kWTA利用时间序列中图层激活的统计信息来调整整个图层，增强罕见激活的值，同时减小常见激活的值。"智能"抑制也使用激活统计信息来抽取稀疏掩码，激活次数较少的更可能被激活。我们提出的机制显著优于经典变压器0.2768 BLEU，以及仅在变压器注意力机制和输出块中使用dropout的模型0.3007 BLEU，实现了Multi30K数据集上的0.3062分。
引用
@article{arxiv.2412.00503,
title = {Homeostasis and Sparsity in Transformer},
author = {Leonid Kotyuzanskiy and Artem Klimov},
journal= {arXiv preprint arXiv:2412.00503},
year = {2024}
}