WaterDrum：面向数据中心无学习指标的水印技术
机器学习
2026-02-03 v2
摘要
大语言模型 (LLM) 无学习是实际应用中关键技术，需高效移除私人、版权受保护或有害数据对某些用户的影响。现有基于模型效用 (utility) 的无学习指标在实际场景中可能无法准确评估无学习程度，例如忘记集合和保留集合的内容在语义上相似，或在保留集合上从头重训练模型不可行。本文提出首个针对 LLM 的数据中心无学习指标 WaterDrum，该技术利用鲁棒文本水印技术来克服上述局限性。我们引入新的基准数据集（具有不同程度的数据相似性），用于通过 WaterDrum 对无学习算法进行严格评估。我们的代码已发布于 https://github.com/lululu008/WaterDrum，我们新的基准数据集也已发布于 https://huggingface.co/datasets/Glow-AI/WaterDrum-Ax。
引用
@article{arxiv.2505.05064,
title = {WaterDrum: Watermarking for Data-centric Unlearning Metric},
author = {Xinyang Lu and Xinyuan Niu and Gregory Kang Ruey Lau and Bui Thi Cam Nhung and Rachael Hwee Ling Sim and John Russell Himawan and Fanyu Wen and Chuan-Sheng Foo and See-Kiong Ng and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2505.05064},
year = {2026}
}