基于层次特征对齐的无光泽手语翻译
计算机视觉与模式识别
2025-07-10 v1
摘要
手语翻译(SLT)旨在将手语视频转换为语音句子。然而，许多现有方法在端到端学习期间难以处理视觉与文本表征之间的差异。基于光草的 метод能通过利用结构化语言信息来弥合这一差距。虽然，光草-free 方法提供了更大的灵活性，消除了标注负担，但需要有效的对齐策略。最近的大语言模型(LLM)进展使基于光草的 SLT 成为可能，通过从手语视频生成类文本表征。本文引入一种新颖的层次预训练策略，灵感来自手语结构，包含伪光草和对比视频-语言对齐。我们的方法在帧、段和视频级别层次化提取特征，将其与伪光草和语音句子对齐，以提高翻译质量。实验表明，我们的方法在保持效率的同时提高了 BLEU-4 和 ROUGE 分数。
引用
@article{arxiv.2507.06732,
title = {Hierarchical Feature Alignment for Gloss-Free Sign Language Translation},
author = {Sobhan Asasi and Mohamed Ilyes Lakhal and Richard Bowden},
journal= {arXiv preprint arXiv:2507.06732},
year = {2025}
}
备注
Accepted in SLTAT