基于三元组损失函数的辅助跨模态表示学习用于在线手写识别
机器学习
2023-09-12 v3 计算机视觉与模式识别
摘要
跨模态表示学习在两个或更多模态间学习共享嵌入,以相比仅使用单一模态提升给定任务的性能。来自不同数据类型(如图像与时间序列数据(例如音频或文本数据))的跨模态表示学习需要一种深度度量学习损失,以最小化模态嵌入间的距离。在本文中,我们提出使用对比损失或三元组损失(triplet loss),其利用正样本与负样本身份创建具不同标签的样本对,用于图像与时间序列模态间的跨模态表示学习(CMR-IS)。通过使三元组损失适应跨模态表示学习,可利用辅助(图像分类)任务的额外信息,在主(时间序列分类)任务中实现更高精度。我们提出一种用于单标签与序列到序列分类任务的带动态边界的三元组损失。我们在合成图像与时间序列数据、离线手写识别(HWR)数据以及来自传感器增强笔的在线HWR数据上进行了广泛评估,以对书写单词分类。我们的实验显示出因改进的跨模态表示而带来的分类精度提升、更快收敛与更好泛化性。此外,更合适的泛化性带来了在线HWR中写者间更好的适应性。
引用
@article{arxiv.2202.07901,
title = {Auxiliary Cross-Modal Representation Learning with Triplet Loss Functions for Online Handwriting Recognition},
author = {Felix Ott and David Rügamer and Lucas Heublein and Bernd Bischl and Christopher Mutschler},
journal= {arXiv preprint arXiv:2202.07901},
year = {2023}
}