Transformer 基 ASR 表征中的性别编码方式研究
计算与语言
2024-10-08 v1
摘要
虽然已有文献依赖性能差异来揭示 ASR 模型中的性别偏见，但深入分析至关重要，以了解性别在转录生成期间是如何被编码和利用的。本文研究了性别在两个基于 Transformer 的 ASR 模型（Wav2Vec2 和 HuBERT）中的隐层表征中的编码与利用方式。使用线性擦除，我们展示了从每个 ASR 模型层中去除性别信息的可行性，并表明此类干预对 ASR 性能影响最小。此外，我们的分析揭示了性别信息在最终各层的前导和后导帧中集中，解释了为何在这些层中擦除性别信息较为容易。我们的发现表明，为 ASR 框架创建性别中性嵌入的前景显然，能够在不损害其效能的前提下实现。
关键词
引用
@article{arxiv.2406.09855,
title = {On the Encoding of Gender in Transformer-based ASR Representations},
author = {Aravind Krishnan and Badr M. Abdullah and Dietrich Klakow},
journal= {arXiv preprint arXiv:2406.09855},
year = {2024}
}
备注
Accepted at Interspeech 2024