自动化还是辅助？计算模型在识别美国死刑案中女性被告性别化话语中的作用
计算与语言
2024-07-30 v2
摘要
美国法庭中言语行为的语言长期被研究用于识别偏见。然而，由于偏见的细微本质以及对法律专业知识的要求，针对高风险法庭案件的偏见系统性研究仍然困难。大型语言模型提供了自动化标注的可能性。但验证计算方法的有效性需要既理解自动化方法如何融入现有标注工作流程，又了解其真正提供的价值。我们呈现一个案例研究，将计算模型添加到复杂且高风险问题中：为女性被告在美国死刑案中识别性别偏见话语。在我们由经验丰富的死刑律师和 NLP 专家组成的团队中， pursuing 一个三阶段研究：首先手动标注，然后训练和评估计算模型，最后将专家标注与模型预测进行比较。与许多典型 NLP 任务不同，针对数月Duration的死刑案件进行性别偏见标注复杂且需要众多判断点。与基于效率和可扩展性的自动化论点相反，法律专家认为计算模型最有用的是为反思自身标注偏见、建立标注规则共识提供机会。这一经验表明，寻求以计算模型取代复杂标注中的专家是既不现实也不可取的。相反，计算模型为标注研究中的法律专家提供了宝贵的辅助机会。
引用
@article{arxiv.2407.12500,
title = {Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts},
author = {Andrea W Wen-Yi and Kathryn Adamson and Nathalie Greenfield and Rachel Goldberg and Sandra Babcock and David Mimno and Allison Koenecke},
journal= {arXiv preprint arXiv:2407.12500},
year = {2024}
}