探索RWKV用于句子嵌入：层级分析与基准比较
计算与语言
2025-02-21 v1 人工智能
摘要
本文探讨了RWKV——一种以线性注意力机制著称的新型语言模型架构——用于生成零样本句子嵌入的效能。对RWKV模型不同隐藏层嵌入所捕获的语义相似性进行层级分析。采用斯坦福大学微软研究语义相似数据集（MRPC）评估性能，计算斯皯曼相关系数，并与GloVe基准进行比较。结果表明，尽管RWKV嵌入捕获了一些语义关联性，但在斯皯曼相关系数方面表现不足以优于GloVe基准。还分析了推理时间和GPU内存使用，突出了RWKV嵌入所涉及的计算权衡。研究表明，尽管RWKV在线性扩展方面具有潜在优势，但其零样本句子嵌入质量在语义相似性任务方面仍需进一步探讨，可能需要特定任务的微调以匹配或超越简单基准。
引用
@article{arxiv.2502.14620,
title = {Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity},
author = {Xinghan Pan},
journal= {arXiv preprint arXiv:2502.14620},
year = {2025}
}
备注
17 pages, 3 tables, preprint on ArXiV, includes detailed analysis of RWKV for semantic similarity tasks