中文

复现 FACTER:通过保形阈值化与提示修复实现公平性

信息检索 2026-06-26 v1 计算机与社会 机器学习

摘要

Fayyazi 等人(2025)最近提出了 FACTER,这是一个与模型无关的框架,旨在通过保形阈值化和迭代提示修复,在基于 LLM 的推荐中共同强制执行公平性和统计覆盖率。在本工作中,我们在不同的架构和数据集稀疏度水平上对 FACTER 框架进行了复现研究,评估了原始的开放式生成任务和受限的重排序扩展。在严格的复现下,我们观察到推荐效用上的差异,我们将其追溯到原研究中未充分明确的目标集评估。然后,我们使用受限重排序设置来评估在候选集固定时的 FACTER,并引入静态 Fair Zero-Shot 基线,以隔离迭代提示修复循环的贡献。我们的分析表明,FACTER 持续减少了自适应阈值违规计数,但这些减少在固定阈值或全局公平性指标下并未得到一致反映。在受限排序设置中,静态公平性指令实现了与 FACTER 动态修复循环相当的语义对等结果,这表明额外的在线修复机制在此形式下提供的收益有限。所有代码和复现产物可在 https://github.com/oscar-omlf/facter-repr 获取。

关键词

引用

@article{arxiv.2606.28620,
  title  = {Reproducing FACTER: Fairness via Conformal Thresholding and Prompt Repair},
  author = {Oscar Miró López-Feliu and Daimy van Loo and Xanthos Kekkos and Mikel Blom and Clara Rus},
  journal= {arXiv preprint arXiv:2606.28620},
  year   = {2026}
}

备注

29 pages. Accepted by Transactions on Machine Learning Research (TMLR), 2026. OpenReview: https://openreview.net/forum?id=4BPFVex4EM. Code: https://github.com/oscar-omlf/facter-repr