基于交叉变分自编码器的手写模式模态转换
计算机视觉与模式识别
2019-06-17 v1 机器学习
摘要
本研究尝试构建一种能够将在线与离线手写字符相互转换的网络。所提出的网络由两个具有共享潜在空间的变分自编码器（VAE）组成。这些 VAE 被训练用于同时生成在线和离线手写拉丁字符。通过这种方式，我们创建了交叉模态 VAE（Cross-VAE）。在训练过程中，所提出的 Cross-VAE 被训练以最小化两种模态的重构损失、两个 VAE 的分布损失，以及一种称为空间共享损失的新颖第三损失。这第三种空间共享损失通过计算潜在变量之间的距离来促使各模态共享同一潜在空间。通过所提出的方法，在线与离线手写字符的相互转换成为可能。本文中，我们通过定性与定量分析展示了 Cross-VAE 的性能。
引用
@article{arxiv.1906.06142,
title = {Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders},
author = {Taichi Sumi and Brian Kenji Iwana and Hideaki Hayashi and Seiichi Uchida},
journal= {arXiv preprint arXiv:1906.06142},
year = {2019}
}
备注
to appear at the International Conference on Document Analysis and Recognition (ICDAR) 2019