在自然语言处理中 bridging 公平性与环境可持续性
计算与语言
2022-11-09 v1
摘要
公平性与环境影响是人工智能可持续发展的重要研究方向。然而，尽管二者在自然语言处理（NLP）中均是活跃的研究领域，令人惊讶的是缺乏关于两领域间相互作用的研究。这一空白极具问题性，因为越来越多的证据表明，仅关注公平性实际上会阻碍环境可持续性，反之亦然。在本工作中，我们通过对（1）调查当前公平性方法的效率，综述文献中减少不公平刻板偏见的示例方法，以及（2）评估一种降低英语 NLP 模型能耗（从而减少环境影响）的常用技术——知识蒸馏（KD）——对公平性的影响，来阐明 NLP 中这一关键交叉点。在本案例研究中，我们评估了重要 KD 因素（包括层数与维度缩减）在以下方面的作用：(a) 蒸馏任务（自然语言推理与语义相似度预测）上的性能，以及 (b) 刻板偏见的多种度量与维度（例如通过词嵌入关联测试测量的性别偏见）。我们的结果促使我们澄清当前关于 KD 对不公平偏见影响的假设：与其他发现相反，我们表明 KD 实际上可能降低模型公平性。
引用
@article{arxiv.2211.04256,
title = {Bridging Fairness and Environmental Sustainability in Natural Language Processing},
author = {Marius Hessenthaler and Emma Strubell and Dirk Hovy and Anne Lauscher},
journal= {arXiv preprint arXiv:2211.04256},
year = {2022}
}
备注
Accepted for publication at EMNLP 2022