通过三维孪生网络改进文本语义相似度建模
计算与语言
2023-07-19 v1 人工智能
摘要
孪生网络作为文本语义相似度建模的一种方法已广受欢迎。传统方法依赖池化操作在编码中压缩来自 Transformer 块的语义表示，产生二维语义向量并丢失 Transformer 块的层次语义信息。此外，这种受限的语义向量结构类似于扁平的地形，限制了下游建模中可应用的方法，因为它们只能在此平坦地形上导航。为解决该问题，我们提出一种用于文本语义相似度建模的新型三维孪生网络，将语义信息映射到更高维空间。三维语义张量不仅保留更精确的空间与特征域信息，也为全面的下游建模策略捕捉这些信息提供了必要的结构条件。利用此结构优势，我们引入若干模块以强化该三维框架，聚焦于特征提取、注意力与特征融合三个方面。我们在四个文本语义相似度基准上的大量实验证明了我们三维孪生网络的有效性与高效性。
引用
@article{arxiv.2307.09274,
title = {Improving Text Semantic Similarity Modeling through a 3D Siamese Network},
author = {Jianxiang Zang and Hui Liu},
journal= {arXiv preprint arXiv:2307.09274},
year = {2023}
}