基于小语言模型预测的语义文本传输：成本 - 相似度权衡

我们考虑在无噪声信道和字符擦除信道上将自然语言文本从源端传输到目的端。我们利用语言固有的相关性和可预测性来约束传输成本，允许目的端预测或补全单词，即使这些单词与源文本可能存在潜在的语义差异。具体而言，我们的目标是获得可实现的 $(\bar{c}, \bar{s})$ 对，其中 $\bar{c}$ 是源端的平均传输成本，$\bar{s}$ 是通过源端单词的向量嵌入与目的端预测/补全单词的向量嵌入之间的余弦相似度测量的平均语义相似度。我们针对用于预测的神经语言和基于一阶马尔可夫链的小语言模型 (SLM) 获得了 $(\bar{c}, \bar{s})$ 对，使用了两种策略：阈值策略（当单词与目的端预测/补全单词的余弦相似度低于阈值时传输该单词）和周期策略（每隔特定间隔传输单词，并在间隔内由目的端预测/补全单词）。我们采用 SLM 进行单词补全。我们证明，当通信发生在无噪声信道上时，对于给定的 $\bar{c}$，阈值策略比周期策略实现更高的 $\bar{s}$，并且对于相同的 $\bar{c}$，神经 SLM 实现的 $\bar{s}$ 大于或等于基于马尔可夫链的算法。性能的提升伴随着时间和计算需求方面更高的复杂度。然而，当通信发生在字符擦除信道上时，所有预测算法和调度策略的表现都很差。此外，如果使用字符级霍夫曼编码，达到给定 $\bar{s}$ 所需的 $\bar{c}$ 会降低，但上述观察结果仍然适用。