面向无词典手语翻译的选择性对比学习
计算与语言
2026-04-27 v1
摘要
手语翻译（SLT）将连续手语视频转换为口语语言文本, 但由于视觉手语与书面文本之间的本质模态错位, 在无词典场景下仍面临挑战. 最近的SLT系统越来越多地采用类似CLIP的视觉语言预训练（VLP）进行跨模态对齐, 但随机批内对比提供的负样本有限且依赖于批次, 且可能将语义相似（甚至相同）的配对误标为负样本, 引入噪声且可能不一致的对齐监督. 本文首先进行基于轨迹的分析,跟踪训练过程中负视频文本相似度的变化.结果表明,只有一小部分负样本表现出希望被持续推远的行为,而其余负样本则显示出异质且常常不减小的相似度动力学,暗示随机批内负样本在有效对齐方面经常缺乏信息.针对此,我们提出一种基于配对选择策略（PS）的SLT选择性对比学习（SCL-SLT）. PS利用参考检查点中的相似度动力学对候选负样本进行评分,并通过课程化构建小批次,逐渐强调更具挑战性的负样本,从而在减弱噪声或语义无效负样本的影响下,强化对比监督.
引用
@article{arxiv.2604.22374,
title = {Selective Contrastive Learning For Gloss Free Sign Language Translation},
author = {Changhao Lai and Rui Zhao and Xuewen Zhong and Jinsong Su and Yidong Chen},
journal= {arXiv preprint arXiv:2604.22374},
year = {2026}
}
备注
Accepted by ACL 2026 as the main conference