Txt2Img-MHN：基于现代Hopfield网络由文本生成遥感图像
计算机视觉与模式识别
2023-10-26 v2
摘要
基于文本描述合成高分辨率遥感图像在许多实际应用场景中具有巨大潜力。尽管深度神经网络在许多重要遥感任务中取得巨大成功，由文本描述生成真实遥感图像仍非常困难。为应对此挑战，我们提出一种新颖的文本到图像现代Hopfield网络（Txt2Img-MHN）。Txt2Img-MHN的主要思想是利用现代Hopfield层对文本与图像嵌入进行分层原型学习。Txt2Img-MHN旨在从文本-图像嵌入中学习最具代表性的原型，实现由粗到细的学习策略，而非直接为不同语义学习具体但高度多样的文本-图像联合特征表示。这些学习到的原型随后可用于表示文本到图像生成任务中更复杂的语义。为更好评估生成图像的真实性及语义一致性，我们进一步利用在合成图像上训练的分类模型对真实遥感数据进行零样本分类。尽管简单，我们发现零样本分类的总体准确率可作为评估由文本生成图像能力的良好指标。在基准遥感文本-图像数据集上的大量实验表明，所提Txt2Img-MHN能比现有方法生成更真实的遥感图像。代码与预训练模型在线可用（https://github.com/YonghaoXu/Txt2Img-MHN）。
关键词
引用
@article{arxiv.2208.04441,
title = {Txt2Img-MHN: Remote Sensing Image Generation from Text Using Modern Hopfield Networks},
author = {Yonghao Xu and Weikang Yu and Pedram Ghamisi and Michael Kopp and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2208.04441},
year = {2023}
}