面向基于表格数据的语言模型通用去偏框架
机器学习
2025-09-23 v1 计算与语言
摘要
大型语言模型（LLMs）在表格数据生成方面取得了令人瞩目的成果。然而，表格数据集中固有的历史偏见常导致LLMs加剧公平性问题，尤其是在涉及多个特权和受保护特征时。本文引入一种通用去偏框架，通过同时减少特权属性与受保护属性之间的互信息来最小化群体级依赖关系。利用LLM基于表格的数据生成器的自回归结构和解析采样分布，我们的方法高效计算互信息，减少了繁冗数值估计的需求。基于这一基础，我们提出两种互补方法：一种基于直接偏好优化（DPO）的策略，即UDF-DPO，可无缝集成到现有模型中；一种针对性去偏技术，即UDF-MIX，无需调整LLMs的参数即可实现去偏。大量实验表明，我们的框架在公平性和实用性之间实现了有效的平衡，为高风险应用中的表格数据生成提供了可扩展且实用的去偏解决方案。
引用
@article{arxiv.2509.16475,
title = {Towards Universal Debiasing for Language Models-based Tabular Data Generation},
author = {Tianchun Li and Tianci Liu and Xingchen Wang and Rongzhe Wei and Pan Li and Lu Su and Jing Gao},
journal= {arXiv preprint arXiv:2509.16475},
year = {2025}
}
备注
EMNLP 2025 Findings