基于知识图遍历与冗余消除的LLM遗忘全方位审计数据集生成
人工智能
2025-02-27 v1 计算与语言
机器学习
摘要
近年来，大型语言模型（LLM）面临通过机器遗忘实现选择性删除敏感信息、保护隐私并遵守版权法规的日益增长的需求。尽管评估遗忘效果至关重要，但现有基准规模和 comprehensiveness 有限，通常仅包含几百个测试案例。我们识别出生成全方位审计数据集的两个关键挑战：确保审计充分性以及处理遗忘集与保留集之间的知识冗余。为此，我们提出了HANKER——一个基于知识图遍历实现精细覆盖并消除冗余知识的自动化全方位审计数据集生成框架。将HANKER应用于流行的MUSE基准，我们成功生成了69,000个和111,000个新闻和书籍数据集的审计案例，识别出大量以前基准未检测到的知识记忆实例。我们的实证分析揭示了知识冗余如何显著扭曲遗忘效果指标，冗余实例会人为地将观察到的记忆度量ROUGE从19.7%提高到26.1%，Entailment得分从32.4%提高到35.2%，凸显了系统化去重对于准确评估的必要性。
引用
@article{arxiv.2502.18810,
title = {Holistic Audit Dataset Generation for LLM Unlearning via Knowledge Graph Traversal and Redundancy Removal},
author = {Weipeng Jiang and Juan Zhai and Shiqing Ma and Ziyan Lei and Xiaofei Xie and Yige Wang and Chao Shen},
journal= {arXiv preprint arXiv:2502.18810},
year = {2025}
}
备注
11 pages, 4 figures