超越单值指标：基于认知诊断的 LLM 无记忆评估与增强
机器学习
2025-02-21 v1
摘要
由于大语言模型（LLM）的广泛使用以及日益增长的伦理和安全关注，开发了 LLM 无记忆方法以删除有害知识和不理想的能力。在此背景下，评估主要基于单值指标，如问答准确率。然而，这些指标往往无法捕捉有害知识组成部分的细粒度保留情况，难以评估无记忆的真实效果。为此，我们提出了 UNCD（UNlearning evaluation via Cognitive Diagnosis），一个新型框架，利用认知诊断模型对 LLM 无记忆进行细粒度评估。我们构建的专属基准 UNCD-Cyber 提供了对危险能力删除的详细评估。此外，我们引入了 UNCD-Agent，通过诊断知识残余并生成针对性的无记忆数据来细化无记忆过程。广泛的实验在八种无记忆方法和两种基础模型上表明，UNCD 不仅提升了评估效果，还有效促进了有害 LLM 能力的删除。
引用
@article{arxiv.2502.13996,
title = {Beyond Single-Value Metrics: Evaluating and Enhancing LLM Unlearning with Cognitive Diagnosis},
author = {Yicheng Lang and Kehan Guo and Yue Huang and Yujun Zhou and Haomin Zhuang and Tianyu Yang and Yao Su and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2502.13996},
year = {2025}
}