signwriting-evaluation: 通过 SignWriting 实现有效的手语评估
计算与语言
2024-10-18 v1
摘要
针对手语书写系统（SignWriting）缺乏自动化评估指标，成为开发有效手语转录与翻译模型的主要障碍。本文提出了一套针对 SignWriting 的综合评估指标体系，包括对标准指标如 BLEU 和 chrF 的改编、将 CLIPScore 应用于手语图像，以及创新的符号距离度量。我们解决了单一手语与连续手语评估的不同挑战，并通过得分分布分析和在 SignBank 语料库中的最近邻搜索，展示了指标的定性效果。我们的发现揭示了每种指标的优势与局限，为 SignWriting 领域的未来发展提供了宝贵的见解。本工作为评估 SignWriting 模型提供必要工具，推动手语处理领域的进步。我们的代码已公开于 https://github.com/sign-language-processing/signwriting-evaluation。
引用
@article{arxiv.2410.13668,
title = {signwriting-evaluation: Effective Sign Language Evaluation via SignWriting},
author = {Amit Moryossef and Rotem Zilberman and Ohad Langer},
journal= {arXiv preprint arXiv:2410.13668},
year = {2024}
}