强化学习的信息论评估指标

机器消 forgetting（MU）旨在从训练好的模型中去除特定数据的影响，解决隐私问题并确保遵守如“忘却权利”等法规。评估强消 forgetting，即消 forgetting后的模型与在不使用待消 forgetting数据的情况下重新训练的模型 indistinguishable（不可区分）的效果，在深度神经网络（DNN）中仍是一个重大挑战。常见的黑盒指标，如成员推断攻击变体和准确率比较，主要评估模型输出，往往无法捕捉中间层残余信息。为弥合这一差距，我们引入信息差指数（IDI），一种受信息论启发的新型白盒指标。IDI通过衡量中间特征与待消 forgetting标签之间的互信息来量化中间层保留的信息，从而对消 forgetting的效果提供更全面的评估。我们的实验表明，IDI能够在各种数据集和体系结构上有效测度消 forgetting的程度，为DNN的强消 forgetting评估提供了可靠工具。