ZJUKLAB 在 SemEval-2025 任务 4 中的提交：通过模型合并实现遗忘
计算与语言
2025-04-22 v2 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
本文介绍了 ZJUKLAB 团队为 SemEval-2025 任务 4 提交的方案，即从大型语言模型中遗忘敏感内容。该任务旨在选择性地擦除大型语言模型中的敏感知识，避免过度遗忘和欠遗忘问题。我们提出的遗忘系统利用模型合并技术（具体为 TIES-Merging），将两个专门模型组合成更平衡的已遗忘模型。我们的系统取得了竞争性成绩，在 26 支队伍中名列第 2，线上得分为 0.944（任务聚合）和 0.487（整体聚合）。本文还进行了本地实验，全面分析了遗忘过程，检查了性能轨迹、损失动态和权重层面情况，以及一些补充实验，以理解该方法的有效性。此外，我们分析了该方法和评估指标的不足，强调仅凭 MIA 分数和 ROUGE 基于指标不足以完全评估成功的遗忘。最后，我们强调在未来研究中需要更全面的评估方法以及重新思考遗忘目标的必要性。代码地址：https://github.com/zjunlp/unlearn/tree/main/semeval25。
关键词
引用
@article{arxiv.2503.21088,
title = {ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging},
author = {Haoming Xu and Shuxun Wang and Yanqiu Zhao and Yi Zhong and Ziyan Jiang and Ningyuan Zhao and Shumin Deng and Huajun Chen and Ningyu Zhang},
journal= {arXiv preprint arXiv:2503.21088},
year = {2025}
}
备注
SemEval@ACL 2025