PromptMix：文本到图像扩散模型提升轻量级网络性能
计算机视觉与模式识别
2023-02-01 v2
摘要
许多深度学习任务所需的标注对人类操作员过于耗时，导致数据集规模较小。对于如人群计数等需要标注图像中每个人的位置的密集回归问题，情况尤为如此。数据增强与基于仿真的合成数据生成等技术可在此类情况下提供帮助。本文中，我们提出 PromptMix，一种用于人工扩充现有数据集规模的方法，可用于提升轻量级网络的性能。首先，以端到端数据驱动方式生成合成图像：通过图像描述深度网络从现有数据集中提取文本提示，随后输入文本到图像扩散模型。然后使用一个或多个高性能深度网络对生成图像进行标注，并与真实数据集混合用于训练轻量级网络。通过在五个数据集与两项任务上的大量实验，我们表明 PromptMix 可使轻量级网络性能提升高达 26%。
引用
@article{arxiv.2301.12914,
title = {PromptMix: Text-to-image diffusion models enhance the performance of lightweight networks},
author = {Arian Bakhtiarnia and Qi Zhang and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2301.12914},
year = {2023}
}