一种用于解耦表示以实现公平分类的新颖信息论目标
机器学习
2023-10-24 v1 计算与语言
摘要
深度学习追求的目标之一是提供这样的工具:从对多种情境的观察中学习对现实的抽象表示。更确切地说,人们希望提取解耦表示,其满足(i)低维,且(ii)各分量相互独立并对应于捕捉所考虑对象本质的概念(Locatello 等,2019b)。朝这一宏大项目迈进的一步是,学习相对于预定义(敏感)属性(例如书写者的性别或年龄)的解耦表示。此类解耦表示的主要应用或许是公平分类。现有方法提取以交叉熵目标与解耦正则化项组合而成的损失所训练的神经网络的最后一层。本工作中,我们采用信息论视角审视该问题,由此引出一类新颖的正则化项,其在给定目标条件下最小化潜表示与敏感属性间的互信息。所得损失集合称为 CLINIC,其无参数,因而更易于且更快速地训练。通过训练超过 2k 个神经网络的大量数值实验对 CLINIC 损失进行了研究。我们证明,相较先前技术,我们的方法提供了更好的解耦/准确率权衡,并且只要解耦任务约束不过强,其泛化能力强于仅用交叉熵损失训练。
引用
@article{arxiv.2310.13990,
title = {A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification},
author = {Pierre Colombo and Nathan Noiry and Guillaume Staerman and Pablo Piantanida},
journal= {arXiv preprint arXiv:2310.13990},
year = {2023}
}
备注
Findings AACL 2023