BiasRV:在运行时揭示有偏的情感预测
软件工程
2022-01-06 v2
摘要
情感分析(SA)系统虽已广泛应用于诸多领域,但已被证明会产生有偏结果。已有一些研究工作自动生成测试用例以揭示 SA 系统中的不公平性,但学界仍缺乏能在运行时监控并揭示有偏预测的工具。本文通过提出 BiasRV 填补了这一空白,这是首个在已部署 SA 系统对给定输入文本做出有偏预测时发出警报的工具。为实现该功能,BiasRV 从输入文本动态提取模板,并基于模板生成性别歧视突变体(仅性别信息不同、语义等价的文本)。基于常用于评估 SA 系统整体公平性的流行指标,我们定义了 SA 系统单个预测的分布公平性属性。该属性规定:对于一段文本,来自不同性别类的突变体作为一个整体应被相似对待。验证分布公平性属性给运行系统带来较大开销。为更高效运行,BiasRV 采用两步启发式:(1) 从每个性别采样若干突变体,检查系统是否将其预测为相同情感;(2) 仅当采样突变体结果冲突时才检查分布公平性。实验表明,与直接对每输入文本检查分布公平性属性相比,我们的两步启发式能将分析突变体的开销降低 73.81%,而仅漏报 6.7% 的有偏预测。此外,BiasRV 可在不知晓 SA 系统实现的情况下便捷使用。未来研究者可轻松扩展 BiasRV 以检测更多偏见类型,如种族与职业。
引用
@article{arxiv.2105.14874,
title = {BiasRV: Uncovering Biased Sentiment Predictions at Runtime},
author = {Zhou Yang and Muhammad Hilmi Asyrofi and David Lo},
journal= {arXiv preprint arXiv:2105.14874},
year = {2022}
}
备注
Accepted to appear in the Demonstrations track of the ESEC/FSE 2021