DSSmoothing：基于双空间平滑实现预训练语言模型数据集所有权认证
密码学与安全
2026-01-28 v4 人工智能
计算机与社会
摘要
大规模网络数据集推动了预训练语言模型（PLMs）的快速发展，但未授权的数据使用引发了严重的版权问题。现有的数据集所有权验证（DOV）方法通常假设水印在推理期间保持稳定；然而，这一假设在自然噪声和对手手工制造扰动下常常失败。我们提出了首个在灰盒设置下（即防御者只能查询可疑模型但了解其输入表示模块）为PLMs提供认证数据集所有权验证的方法，基于双空间平滑（即DSSmoothing）。为了应对文本离散性和语义敏感性，DSSmoothing在嵌入空间引入连续扰动以捕获语义鲁棒性，并在置换空间对控制标记重新排序以捕获序列鲁棒性。DSSmoothing包含两个阶段：在第一个阶段，触发器在两个空间中共同嵌入，以生成范数受限且稳健的水印数据集；在第二个阶段，针对两个空间中的随机平滑，用于计算可疑模型的水印鲁棒性（WR）并统计比较其与一组良性模型的主概率值（PP）。在理论上，DSSmoothing通过确保在受限双空间扰动下WR持续超过PP，为数据集所有权验证提供可证明的鲁棒性保证。大量实验在多个代表性网络数据集上表明，DSSmoothing实现稳定可靠的验证性能，并对潜在的自适应攻击具有鲁棒性。我们的代码可在https://github.com/NcepuQiaoTing/DSSmoothing获取。
引用
@article{arxiv.2510.15303,
title = {DSSmoothing: Toward Certified Dataset Ownership Verification for Pre-trained Language Models via Dual-Space Smoothing},
author = {Ting Qiao and Xing Liu and Wenke Huang and Jianbin Li and Zhaoxin Fan and Yiming Li},
journal= {arXiv preprint arXiv:2510.15303},
year = {2026}
}
备注
To appear in WWW 2026. 12 pages