AILS-NTUA 参加 SemEval-2025 任务 4：利用数据分块实现大语言模型的参数高效遗忘
计算与语言
2025-08-04 v1
摘要
大语言模型敏感内容遗忘任务旨在从已训练模型中移除目标数据点，同时最小化对其通用知识的影响。在我们的工作中，我们利用低秩（LoRA）适配和层聚焦微调，采用参数高效的基于梯度的遗忘方法。为进一步增强遗忘效果，我们采用数据分块技术，将遗忘数据划分为不相交的分区，并按预定比例与循环采样的保留样本进行合并。我们的任务无关方法实现了出色的遗忘-保留平衡，在排行榜上排名第一，并显著优于基线和竞争系统。
引用
@article{arxiv.2503.02443,
title = {AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking},
author = {Iraklis Premptis and Maria Lymperaiou and Giorgos Filandrianos and Orfeas Menis Mastromichalakis and Athanasios Voulodimos and Giorgos Stamou},
journal= {arXiv preprint arXiv:2503.02443},
year = {2025}
}