GeNIe: 通过扩散生成困难负样本图像

数据增强对于训练深度模型至关重要，可以防止模型在有限数据上过拟合。生成式AI（例如扩散模型）的最新进展使得更复杂的增强技术成为可能，这些技术能够生成类似于自然图像的增强数据。我们提出GeNIe，一种新颖的增强方法，利用以文本提示为条件的潜在扩散模型，将两个对比数据点（源类别的图像和目标类别的文本提示）结合起来，生成具有挑战性的增强样本。为此，我们调整噪声水平（等效于扩散迭代次数），以确保生成的图像保留源图像的低级和背景特征，同时代表目标类别，从而为源类别生成一个困难负样本。我们进一步通过自适应地调整每个图像的噪声水平选择（称为GeNIe-Ada）来自动化和增强GeNIe，从而带来进一步的性能提升。我们在少样本和长尾分布设置下的大量实验证明了我们新颖增强方法的有效性及其优于现有技术的性能。我们的代码可在https://github.com/UCDvision/GeNIe获取。