HATL：面向手语机器翻译的层次化自适应迁移学习框架
计算与语言
2026-03-23 v1 人工智能
计算机视觉与模式识别
计算机与社会
新兴技术
摘要
手语机器翻译（Sign Language Machine Translation, SLMT）旨在搭建聋人和听力人群之间的沟通桥梁。然而，其进展受限于数据稀缺、签名者多样性不足以及签名运动模式与预训练表示之间存在较大的领域差距。现有的SLMT迁移学习方法具有静态特性，常导致过拟合。这一挑战迫切需要开发一种能够保持预训练结构同时在语言和签名变异性方面保持鲁健的自适应框架。为填补这一空白，我们提出了一种层次化自适应迁移学习（Hierarchical Adaptive Transfer Learning, HATL）框架，其中预训练层根据训练性能行为进行逐步且动态的解冻。HATL结合了动态解冻、层级学习率衰减和稳定性机制，以保留通用表征的同时适应签名特征。我们使用预训练的ST-GCN++背bone进行特征提取，并采用Transformer和自适应Transformer（ADAT）进行翻译。在确保鲁棒的多语言泛化能力方面，我们在三个数据集上评估了所提出的方法：RWTH-PHOENIXWeather-2014（PHOENIX14T）、Isharah和MedASL。实验结果表明，HATL在不同任务和模型上均优于传统迁移学习方法，ADAT在PHOENIX14T和Isharah上实现了15.0%的BLEU-4提升，在MedASL上实现了37.6%的BLEU-4提升。
关键词
引用
@article{arxiv.2603.19260,
title = {HATL: Hierarchical Adaptive-Transfer Learning Framework for Sign Language Machine Translation},
author = {Nada Shahin and Leila Ismail},
journal= {arXiv preprint arXiv:2603.19260},
year = {2026}
}