你的感受如何？在仇恨言论检测中衡量用户对拒绝机器决策的价值感知
摘要
仇恨言论审核对社交媒体平台而言仍是一项具有挑战性的任务。人机协作系统有潜力结合人类可靠性和机器学习可扩展性的优势来有效应对此问题。虽然现有的人机协作任务移交方法考虑了错误预测的成本，但对这些成本的准确估计关注不足。在本工作中，我们提出一种价值敏感的拒绝机制，该机制基于用户对机器决策的价值感知自动拒绝机器决策交由人工审核。我们开展了一项有160名参与者参与的众包调查，评估他们在仇恨言论检测领域对正确与错误机器决策以及系统拒绝做出预测时的感知。在此，我们引入幅度估计（Magnitude Estimation）——一种无界尺度——作为衡量用户与机器决策（不）一致性的优选方法。我们的结果表明，幅度估计能可靠地测量参与者对机器决策的感知。通过将用户感知价值整合进人机协作，我们进一步表明它可指导我们：1）确定何时接受或拒绝机器决策以获得模型可提供的最优总价值；2）与更广泛使用的模型准确率目标相比，选出更好的分类模型。
引用
@article{arxiv.2307.11806,
title = {How do you feel? Measuring User-Perceived Value for Rejecting Machine Decisions in Hate Speech Detection},
author = {Philippe Lammerts and Philip Lippmann and Yen-Chia Hsu and Fabio Casati and Jie Yang},
journal= {arXiv preprint arXiv:2307.11806},
year = {2023}
}
备注
To appear at AIES '23. Philippe Lammerts, Philip Lippmann, Yen-Chia Hsu, Fabio Casati, and Jie Yang. 2023. How do you feel? Measuring User-Perceived Value for Rejecting Machine Decisions in Hate Speech Detection. In AAAI/ACM Conference on AI, Ethics, and Society (AIES '23), August 8.10, 2023, Montreal, QC, Canada. ACM, New York, NY, USA. 11 pages