Geo-Sign：用于几何感知手语翻译的双曲对比正则化
计算机视觉与模式识别
2025-10-29 v2 机器学习
摘要
手语翻译（SLT）的最新进展主要集中在提升大语言模型的表示能力以融合手语特征。本工作探索了另一个方向：增强骨骼表示本身的几何特性。我们提出了 Geo-Sign，一种利用双曲几何特性来建模手语运动学中固有层级结构的方法。通过将从时空图卷积网络（ST-GCN）导出的骨骼特征投影到 Poincaré 球模型中，我们旨在创建更具判别性的嵌入，特别是对于手指关节运动等细粒度动作。我们引入了一个双曲投影层、一个加权 Fréchet 均值聚合方案，以及一个直接在双曲空间中运行的几何对比损失。这些组件作为正则化函数被集成到端到端翻译框架中，以增强语言模型内的表示。本工作展示了双曲几何在改善手语翻译骨骼表示方面的潜力，在保护隐私和提高计算效率的同时，改进了 SOTA RGB 方法。代码可在此处获取：https://github.com/ed-fish/geo-sign。
引用
@article{arxiv.2506.00129,
title = {Geo-Sign: Hyperbolic Contrastive Regularisation for Geometrically Aware Sign Language Translation},
author = {Edward Fish and Richard Bowden},
journal= {arXiv preprint arXiv:2506.00129},
year = {2025}
}
备注
Accepted to NeurIPS 2025