Superbloom:布隆过滤器遇见Transformer
机器学习
2020-02-13 v1 计算与语言
机器学习
摘要
我们将自然语言模型中词片(word pieces)的思想扩展到针对不透明id的机器学习任务。这是通过对每个id应用哈希函数映射到小得多的空间中的多个哈希令牌来实现的,类似于布隆过滤器(Bloom filter)。我们表明,通过对这些布隆过滤器摘要应用多层Transformer,我们能够获得高精度的模型。它们优于同等规模但未使用哈希的模型,并且在很大程度上优于使用相同计算预算通过采样softmax训练的更大规模的模型。我们的关键观察是,使用多层Transformer处理布隆过滤器摘要以消除哈希输入中的歧义十分重要。我们相信这为处理大词表规模的问题提供了一种替代方法。
引用
@article{arxiv.2002.04723,
title = {Superbloom: Bloom filter meets Transformer},
author = {John Anderson and Qingqing Huang and Walid Krichene and Steffen Rendle and Li Zhang},
journal= {arXiv preprint arXiv:2002.04723},
year = {2020}
}