基于离散小波变换的词和句嵌入语义压缩
计算与语言
2025-08-04 v1
摘要
小波变换作为一种强大的数学工具，已在包括信号和图像处理在内的多个领域广泛应用，用于揭示复杂模式、增强数据表示并从数据中提取有意义的特征。实际应用结果表明，小波变换可用于 NLP 中捕捉各种语言和语义属性。在本文中，我们经验性地利用离散小波变换（DWT）应用于词和句嵌入。旨在展示 DWT 在不同分辨率水平上分析嵌入表示并在保持整体质量的同时进行压缩的能力。我们评估了 DWT 嵌入在语义相似性任务上的效果，以展示 DWT 如何用于在嵌入向量中合并重要语义信息。我们使用不同的嵌入模型，包括大语言模型，在下游任务上显示了所提方法的有效性。我们的结果表明，DWT 可将嵌入的维度降低50%~93%，而在语义相似性任务中几乎不会产生性能变化，同时在大多数下游任务中实现卓越的准确率。我们的发现为将 DWT 应用于改进 NLP 应用指明了道路。
引用
@article{arxiv.2508.00220,
title = {Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform},
author = {Rana Aref Salama and Abdou Youssef and Mona Diab},
journal= {arXiv preprint arXiv:2508.00220},
year = {2025}
}