基于字符的扩散嵌入算法用于增强生成式语言隐写文本的生成质量
计算与语言
2025-05-08 v2 密码学与安全
摘要
生成高质量的隐写文本是生成式语言隐写领域的基本挑战。这一挑战主要源于两个方面:首先,现有模型在文本生成方面的能力有限;其次,嵌入算法未能有效缓解敏感信息属性（如语义内容或随机性）对生成过程的负面影响。具体而言,为确保收件人能够准确提取隐藏信息,嵌入算法通常必须考虑选择概率相对较低的候选词。这一现象导致高概率候选词数量减少,低概率候选词数量增加,从而损害隐写文本的语义连贯性和逻辑流畅性,并削弱生成隐写材料的整体质量。为解决此问题,本文提出了一种新型嵌入算法,称为字符基扩散嵌入算法(CDEA)。与现有嵌入算法致力于消除敏感信息属性对生成过程影响不同,CDEA利用敏感信息的属性。基于字符层面的一般统计属性和基于幂律分布的分组方法,CDEA增强了候选词池中高概率候选词的选中频率,同时降低了候选词池中低概率候选词的选中频率。此外,为确保在长序列中有效转换敏感信息,我们还引入了XLNet模型。实验结果表明,CDEA与XLNet的组合显著提升了生成隐写文本的质量,尤其在感知隐性方面表现更佳。
引用
@article{arxiv.2505.00977,
title = {A Character-based Diffusion Embedding Algorithm for Enhancing the Generation Quality of Generative Linguistic Steganographic Texts},
author = {Yingquan Chen and Qianmu Li and Xiaocong Wu and Huifeng Li and Qing Chang},
journal= {arXiv preprint arXiv:2505.00977},
year = {2025}
}
备注
we need to clarify authorship and make further revisions in collaboration with co-authors