外部内存在提升预测模型容量中的威力
机器学习
2023-02-02 v1 计算与语言
摘要
将稀疏性引入深度网络的一种方式是附加一个外部参数表，在网络的不同层稀疏查表。通过将大部分参数存储在外部表中，可以在不必然增加推理时间的情况下提升模型容量。此设定下两个关键问题是：访问表的查表函数是什么，以及表的内容如何被消耗？访问表的显著方法包括：1）使用词/词片 token-id 作为表索引；2）将每层的 token 向量通过 LSH 哈希到桶表中；3）可学习的 softmax 风格路由到表项。消耗内容的方式包括与输入表示相加/拼接，以及将内容用作针对不同输入专门化的专家网络。在本工作中，我们对现有思想及其组合进行了严谨的实验评估。我们还引入了一种新方法——交替更新，它能在不增加计算时间的情况下访问增大的 token 维度，并展示了其在语言建模中的有效性。
引用
@article{arxiv.2302.00003,
title = {The Power of External Memory in Increasing Predictive Model Capacity},
author = {Cenk Baykal and Dylan J Cutler and Nishanth Dikkala and Nikhil Ghosh and Rina Panigrahy and Xin Wang},
journal= {arXiv preprint arXiv:2302.00003},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2301.13310