融合以遗忘：通过模型融合实现偏置削减与选择性记忆

模型融合研究旨在聚合多个独立模型的知识，通过组合其权重来提升性能。在本文中，我们研究逆问题：探究模型融合是否可用于削减不需要的知识。我们考察了模型融合在三种场景下的效果：微调语言模型中捷径的学习、社会偏见以及训练数据的记忆。通过涵盖分类与生成任务的实验，我们的分析强调在模型融合过程中模型间的共享知识得到增强，而非共享知识通常被遗忘。基于该观察，我们展示了模型融合作为去偏置工具的潜力，并展现了其在解决与语言模型相关的隐私问题上的效力。