LEACE：闭式下的完美线性概念擦除
机器学习
2025-04-04 v4 计算与语言
计算机与社会
摘要
概念擦除旨在从嵌入中移除指定特征。它可以改善公平性（例如阻止分类器使用性别或种族）和可解释性（例如移除某个概念以观察模型行为的变化）。我们引入了 LEAst-squares Concept Erasure（LEACE），一种闭式方法，该方法可证明地阻止所有线性分类器检测某一概念，同时以一大类范数度量尽可能少地改变嵌入。我们将 LEACE 应用于大语言模型，采用一种称为“概念擦洗（concept scrubbing）”的新颖流程，从网络的每一层擦除目标概念信息。我们在两项任务上展示了我们的方法：度量语言模型对词性信息的依赖，以及降低 BERT 嵌入中的性别偏见。代码见 https://github.com/EleutherAI/concept-erasure。
引用
@article{arxiv.2306.03819,
title = {LEACE: Perfect linear concept erasure in closed form},
author = {Nora Belrose and David Schneider-Joseph and Shauli Ravfogel and Ryan Cotterell and Edward Raff and Stella Biderman},
journal= {arXiv preprint arXiv:2306.03819},
year = {2025}
}