用 Transformer GAN 生成符号推理问题
机器学习
2023-05-08 v3
摘要
我们研究了配备 Transformer 编码器的 GAN 与 Wasserstein GAN 在符号推理领域生成合理且具有挑战性的训练数据的能力。我们在两个近期 Transformer 已成功应用的领域开展实验：符号数学与验证中的时序规范。即使没有自回归，我们的 GAN 模型也能生成句法正确的实例。我们表明，所生成的数据可用作训练分类器时真实训练数据的替代，尤其当原始数据集过小而无法直接训练时，可从中生成训练数据。采用 GAN 设定还允许我们改变目标分布：我们表明，通过在生成器目标中加入分类器不确定性项，可获得比原始数据集更难以被时序逻辑分类器求解的数据集。
引用
@article{arxiv.2110.10054,
title = {Generating Symbolic Reasoning Problems with Transformer GANs},
author = {Jens U. Kreber and Christopher Hahn},
journal= {arXiv preprint arXiv:2110.10054},
year = {2023}
}