ML-EAT：面向可解释和透明社会科学的多层次嵌入关联测试
计算与语言
2024-08-29 v2 人工智能
计算机与社会
摘要
本研究介绍了多层次嵌入关联测试（ML-EAT），一种旨在可解释且透明地衡量语言技术中内在偏见的方法。ML-EAT 解决了传统 EAT 测量模糊性和难以解释的问题，通过对比概念与属性概念之间的差异关联、每个目标概念与两个属性概念的 individual effect size，以及每个 individual target 概念与每个 individual attribute 概念之间的关联来量化偏见。使用 ML-EAT，本研究定义了 EAT 模式的分类，描述嵌入关联测试的九种可能结果，每种结果都与唯一的 EAT-Map 相关联——一种新型四象限可视化，用于解释 ML-EAT。对静态嵌入、历时词嵌入、GPT-2 语言模型和 CLIP 语言-图像模型的经验分析表明，EAT 模式添加了 EAT 之外的 otherwise unobservable 关于组成 EAT 的各个组成偏见信息；揭示了零-shot 模型中提示的效果；并且还可以识别余弦相似度在何时情况下是无效指标，从而使 EAT 不可靠。我们的工作为使偏见更可见和可解释提供了方法，提高了对计算性研究中人类心智和社会透明度。
引用
@article{arxiv.2408.01966,
title = {ML-EAT: A Multilevel Embedding Association Test for Interpretable and Transparent Social Science},
author = {Robert Wolfe and Alexis Hiniker and Bill Howe},
journal= {arXiv preprint arXiv:2408.01966},
year = {2024}
}
备注
Accepted at Artificial Intelligence, Ethics, and Society 2024