Leader：为更快的词向量序列化添加长度前缀
计算与语言
2020-10-12 v2
摘要
两种相互竞争的文件格式已成为分发预训练词嵌入的事实标准。它们均以该格式中最流行的预训练嵌入命名。GloVe 格式是一种完全基于文本的格式，存在文件体积巨大和读取缓慢的问题；word2vec 格式是一种较小的二进制格式，将词的文本表示与向量本身的二进制表示混合在一起。这两种格式都有我们以一种称为 Leader 格式的新格式所解决的问题。我们加入了词长度前缀以实现更快的读取，同时保持二进制格式所提供的小文件体积。我们还创建了一个极简库，以便于读写各种词向量格式，以及将预训练嵌入转换为我们的新 Leader 格式的工具。
引用
@article{arxiv.2009.13699,
title = {Leader: Prefixing a Length for Faster Word Vector Serialization},
author = {Brian Lester},
journal= {arXiv preprint arXiv:2009.13699},
year = {2020}
}