Lacuna Inc. 参加SemEval-2025任务4：LoRA增强的基于影响的大语言模型知识卸载
计算与语言
2025-06-05 v1 人工智能
摘要
本文描述了LIBU(LoRA增强的基于影响的知识卸载)，一种用于解决知识卸载任务的算法——在不从头重新训练且不损害其整体效用的情况下从大语言模型中移除特定知识(SemEval-2025任务4：从大语言模型中卸载敏感内容)。该算法结合了经典的影响函数以移除数据对模型的影响，以及二阶优化以稳定整体效用。我们的实验表明，这种轻量级方法适用于不同类型任务中的大语言模型知识卸载。
引用
@article{arxiv.2506.04044,
title = {Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs},
author = {Aleksey Kudelya and Alexander Shirnin},
journal= {arXiv preprint arXiv:2506.04044},
year = {2025}
}
备注
Accepted to SemEval-2025, an ACL 2025 workshop