RAZOR：通过无监督文本重写削减偏差以锐化知识
计算与语言
2024-12-20 v3 机器学习
摘要
尽管大语言模型（LLMs）因其在各类任务中的卓越性能而被广泛使用，但其高昂的计算成本常使潜在用户转向预训练-微调流程。然而，人工构建数据集中普遍存在的偏差会在词元与标签之间引入虚假关联，形成所谓的捷径，并阻碍微调模型的泛化能力。现有的去偏方法通常依赖于对特定数据集偏差的先验知识，而这种知识很难预先获取。我们提出了 RAZOR（重写与零偏差优化精炼），一种新颖的、无监督且以数据为中心的去偏方法，该方法基于文本重写以缓解捷径问题。RAZOR 利用大语言模型，通过在由词元统计和位置信息定义的捷径空间中，用启发式选择的替代项替换可能存在偏差的文本片段，来迭代地重写文本。此过程旨在使表层文本特征与多样化的标签分布更紧密地对齐，从而促进对真实语言模式的学习。与无监督的当前最优模型相比，RAZOR 在 FEVER 数据集上的 F1 分数提高了 3.5%，在 MNLI 和 SNLI 数据集上提高了 6.5%。此外，RAZOR 有效缓解了特定的已知偏差，在不需要先验偏差信息的情况下将偏差相关项减少了 x2 倍，这一结果与利用先验信息的当前最优模型相当。我们的工作优先考虑数据操作而非架构修改，强调了数据质量在提升模型性能和公平性方面的关键作用。这项研究通过纳入偏差减少和整体模型效能的指标，为开发更稳健的去偏方法评估基准做出了贡献。
引用
@article{arxiv.2412.07675,
title = {RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting},
author = {Shuo Yang and Bardh Prenkaj and Gjergji Kasneci},
journal= {arXiv preprint arXiv:2412.07675},
year = {2024}
}
备注
Shuo and Bardh contributed equally. Accepted to AAAI'25, Paper #17117