完美概念抹除的基本极限
机器学习
2025-03-27 v1
摘要
概念抹除是指在保留原始表示最大可能实用信息的同时，从表示集中抹除关于某个概念（如性别或种族）的信息。概念抹除在多个应用中具有重要价值，如实现公平性或解释特定概念对模型性能的影响。以往的概念抹除技术侧重于可靠抹除概念，而非保留结果表示的实用性。然而，抹除与保留实用性之间似乎存在根本性的权衡，使得不清楚如何在保持高实用性的同时实现完美概念抹除。本文通过信息论视角对概念抹除的基本极限进行量化。利用这些结果，我们研究了实现完美概念抹除极限所需的数据分布约束和抹除函数。我们在实验方面表明，所推导的抹除函数实现了最优理论界限。此外，我们展示了该方法在多个合成数据集和真实数据集上使用 GPT-4 表示时优于现有方法。
引用
@article{arxiv.2503.20098,
title = {Fundamental Limits of Perfect Concept Erasure},
author = {Somnath Basu Roy Chowdhury and Avinava Dubey and Ahmad Beirami and Rahul Kidambi and Nicholas Monath and Amr Ahmed and Snigdha Chaturvedi},
journal= {arXiv preprint arXiv:2503.20098},
year = {2025}
}
备注
Accepted at AISTATS 2025