SCISSOR：通过基于聚类的双胞胎网络消除语义偏置以实现稳健分类
机器学习
2025-06-24 v2
摘要
shortcut learning 削弱了模型对分布外数据的泛化能力。虽然文献将 shortcut 归因于浅层特征中的偏置，但我们指出，样本嵌入语义分布的不平衡会诱导虚假的语义相关性，损害模型的鲁棒性。为解决此问题，我们提出了 SCISSOR（Semantic Cluster Intervention for Suppressing ShORtcut），一种基于双胞胎网络的去偏方法，通过抑制用作 shortcut 的潜在聚类来重映射语义空间。不同于先前的数据去偏方法，SCISSOR 无需数据增强和重写。我们在 6 个模型上评估 SCISSOR，涵盖 4 个基准：Chest-XRay 和 Not-MNIST 计算机视觉任务，以及 GYAFC 和 Yelp 自然语言处理任务。相较于多个基线方法，SCISSOR 在 GYAFC 上 F1 分数提升 5.3 分，Yelp 提升 7.3 分，Chest-XRay 提升 7.7 分，Not-MNIST 提升 1 分。SCISSOR 在轻量级模型中尤为有优势，针对 ViT 在计算机视觉数据集上 F1 分数提升约 9.5%，针对 BERT 在自然语言处理任务上提升约 11.9%。我们的研究重新定义了模型泛化的格局，通过解决被忽视的语义偏置，确立了 SCISSOR 作为缓解 shortcut learning 基础框架的地位，促进更稳健、抗偏置的人工智能系统的发展。
引用
@article{arxiv.2506.14587,
title = {SCISSOR: Mitigating Semantic Bias through Cluster-Aware Siamese Networks for Robust Classification},
author = {Shuo Yang and Bardh Prenkaj and Gjergji Kasneci},
journal= {arXiv preprint arXiv:2506.14587},
year = {2025}
}
备注
Accepted to the International Conference on Machine Learning (ICML) 2025