RETVec：弹性高效文本向量化器
计算与语言
2024-04-24 v3 人工智能
摘要
本文描述了 RETVec，一种为基于神经网络的文本处理而设计的高效、弹性、多语言文本向量化器。RETVec 将一种新颖的字符编码与一个可选的小型嵌入模型相结合，将词嵌入到 256 维向量空间中。RETVec 嵌入模型使用成对度量学习进行预训练，以对拼写错误和字符级对抗攻击具有鲁棒性。在本文中，我们在流行的模型架构和数据集上评估并比较了 RETVec 与最先进的向量化器和词嵌入。这些比较表明，RETVec 能够产生有竞争力的多语言模型，这些模型对拼写错误和对抗性文本攻击具有显著更强的弹性。RETVec 在 Apache 2 许可证下发布，地址为 https://github.com/google-research/retvec。
引用
@article{arxiv.2302.09207,
title = {RETVec: Resilient and Efficient Text Vectorizer},
author = {Elie Bursztein and Marina Zhang and Owen Vallis and Xinyu Jia and Alexey Kurakin},
journal= {arXiv preprint arXiv:2302.09207},
year = {2024}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)