MU-Bench：面向机器忘卸的多任务多模态基准
机器学习
2024-12-24 v2 人工智能
摘要
近期机器忘卸（Machine Unlearning, MU）的研究进展引入了针对训练模型中选择性删除特定样本的方法，例如带有过时或敏感信息的样本。尽管已有研究取得进展，但MU方法的评估仍不一致，不同模型、架构和样本删除策略导致难以进行准确比较。此外，现有MU方法主要聚焦于单一任务或单一模态，缺乏系统性。为此，我们开发了MU-Bench——首个综合性机器忘卸基准测试，旨在（i）统一删除样本集和训练模型，（ii）提供广泛的任务和数据模态覆盖，包括尚未探索的语音和视频分类领域。我们的实验表明，RandLabel 和 SalUn 在MU-Bench上表现为最有效的通用MU方法，BadT 和 SCRUB 能在删除集上实现随机性能。我们进一步分析了机器忘卸中若干尚未充分调查的方面，包括可扩展性、参数高效微调和课程学习的影响，以及数据偏差的敏感性。MU-Bench 提供了一个易于使用的软件包，包含数据集划分、模型和实现，同时配备排行榜，以支持统一且可扩展的MU研究。
引用
@article{arxiv.2406.14796,
title = {MU-Bench: A Multitask Multimodal Benchmark for Machine Unlearning},
author = {Jiali Cheng and Hadi Amiri},
journal= {arXiv preprint arXiv:2406.14796},
year = {2024}
}
备注
SafeGenAI @ NeurIPS 2024. Project page: https://clu-uml.github.io/MU-Bench-Project-Page/