孤立手语的音系表征学习提升词外泛化能力
计算与语言
2025-09-08 v1 计算机视觉与模式识别
摘要
手语数据集在词汇方面通常缺乏代表性，这凸显了对能够泛化到未见手语的模型的需求。向量量化是学习离散的、类似 token 表征的一种有前景的方法，但尚未评估学习到的单元是否捕获了阻碍词外表现的虚假相关性。本研究调查了两种音系归纳偏置：参数解耦（一种架构偏置）和音系半监督（一种正则化技术），以利用向量量化自编码器改进已知手语的孤立手语识别和未见手语的重建质量。主要发现是，与受控基线相比，所提出模型学习到的表征在未见手语的一次性重建方面更有效，在手语识别方面更具判别力。本研究对显式的、语言学动机的偏置如何能改进手语学习表征的泛化能力提供了定量分析。
引用
@article{arxiv.2509.04745,
title = {Phonological Representation Learning for Isolated Signs Improves Out-of-Vocabulary Generalization},
author = {Lee Kezar and Zed Sehyr and Jesse Thomason},
journal= {arXiv preprint arXiv:2509.04745},
year = {2025}
}