基于投影的概念去除方法转换数据集后会发生什么？
计算与语言
2024-03-26 v1 人工智能
摘要
我们研究了使用线性投影从语言表示中去除某个概念信息的方法的行为，并考虑了被此类方法转换后的数据集会发生什么的问题。理论分析以及在真实和合成数据上的实验表明，这些方法会在转换后的数据集中注入强烈的统计依赖性。在应用此类方法后，表示空间变得高度结构化：在转换后的空间中，一个实例往往位于具有相反标签的实例附近。因此，在某些情况下，可以通过应用反聚类方法来重建原始标签。
引用
@article{arxiv.2403.16142,
title = {What Happens to a Dataset Transformed by a Projection-based Concept Removal Method?},
author = {Richard Johansson},
journal= {arXiv preprint arXiv:2403.16142},
year = {2024}
}