中文

多个专家胜过一个:基于多局部专家的小样本字体生成

计算机视觉与模式识别 2021-04-05 v1

摘要

小样本字体生成 (few-shot font generation, FFG) 方法须满足两个目标:生成图像应保留目标字符的底层全局结构,并呈现多样的局部参考风格。现有 FFG 方法旨在通过提取通用风格表示或提取多个部件级风格表示来解耦内容与风格。然而,先前方法要么无法捕捉多样的局部风格,要么不能泛化到含未见过部件(如未见过的语言系统)的字符。为缓解这些问题,我们提出一种新颖的 FFG 方法,称为多局部专家小样本字体生成网络 (Multiple Localized Experts Few-shot Font Generation Network, MX-Font)。MX-Font 提取多个风格特征,不显式依赖于部件标签,而是由多个专家自动表示不同的局部概念(如左侧子字形)。得益于多个专家,MX-Font 能捕捉多样的局部概念并展示对未见语言的泛化能力。训练期间,我们利用部件标签作为弱监督来引导各专家专用于不同局部概念。我们将各专家的成分分配问题表述为图匹配问题,并用匈牙利算法求解。我们还采用独立性损失与内容-风格对抗损失来强制内容-风格解耦。实验中,MX-Font 在中文生成及跨语言(如中文到韩文)生成上均优于先前最优 FFG 方法。源代码见 https://github.com/clovaai/mxfont。

关键词

引用

@article{arxiv.2104.00887,
  title  = {Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts},
  author = {Song Park and Sanghyuk Chun and Junbum Cha and Bado Lee and Hyunjung Shim},
  journal= {arXiv preprint arXiv:2104.00887},
  year   = {2021}
}

备注

14 pages, 11 figures