基于Transformer的句子嵌入中连续与离散语言信号的分离
计算与语言
2023-12-19 v1
摘要
句子和词嵌入以分布式方式编码结构和语义信息。所编码的部分信息——特别是词汇信息——可视为连续的，而其他信息——如结构信息——则通常是离散的。我们探索是否可以将基于Transformer的句子嵌入压缩成一种分离不同语言信号的表示——特别是与主谓一致和动词交替相关的信息。我们表明，通过将共享目标现象的输入序列压缩到变分自编码器类系统的潜在层中，目标语言信息变得更加明确。同时包含离散和连续分量的潜在层比仅包含离散或仅包含连续分量的潜在层能更好地捕捉目标现象。这些实验是将语言信号从分布式文本嵌入中分离出来并将其链接到更符号化表示的一步。
引用
@article{arxiv.2312.11272,
title = {Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings},
author = {Vivi Nastase and Paola Merlo},
journal= {arXiv preprint arXiv:2312.11272},
year = {2023}
}