面向真实世界LLM忘却的评估
人工智能
2025-08-05 v1
摘要
本文分析了现有忘却评估指标在实际LLM忘却场景中的可行性、精确性和鲁棒性局限。为克服这些限制，我们提出了一种新型指标，称为基于分布校正的忘却评估（DCUE）。它识别核心词汇并利用验证集纠正其置信得分中的分布偏差。评估结果采用Kolmogorov-Smirnov 检验进行量化。实验结果表明，DCUE克服了现有指标的局限，这也指导了未来更实用可靠的忘却算法设计。
引用
@article{arxiv.2508.01324,
title = {Towards Evaluation for Real-World LLM Unlearning},
author = {Ke Miao and Yuke Hu and Xiaochen Li and Wenjie Bao and Zhihao Liu and Zhan Qin and Kui Ren},
journal= {arXiv preprint arXiv:2508.01324},
year = {2025}
}