通过潜在概念变量实现公平的上下文学习
机器学习
2025-11-18 v2 人工智能
计算与语言
摘要
大语言模型（LLM）新兴的上下文学习（ICL）能力促使其在各种领域和不同数据类型（包括表格数据）中用于预测任务，这得益于序列化方法。然而，随着在高风险领域的应用日益增多，研究表明 LLM 可能会从预训练数据中继承社会偏见和歧视。本研究探讨了 LLM 在使用表格数据进行上下文学习时的固有偏见。我们聚焦于一种利用潜在概念变量进行资源高效任务适应的最优示例选择方法。我们设计了减少预测结果与敏感变量之间相关性的数据增强策略，以促进潜在概念学习过程中的公平性。我们利用所学的概念来选择示例并获得公平的预测。潜在概念变量通过较小的内部 LLM 学习，并泛化到更大的外部 LLM。我们在实验上验证了公平潜在变量方法在表格数据集上相比多种启发式示例选择方法改善了公平性结果。
引用
@article{arxiv.2411.02671,
title = {Fair In-Context Learning via Latent Concept Variables},
author = {Karuna Bhaila and Minh-Hao Van and Kennedy Edemacu and Chen Zhao and Feng Chen and Xintao Wu},
journal= {arXiv preprint arXiv:2411.02671},
year = {2025}
}
备注
IEEE BigData 2025