超越有限数据：通过外推实现无数据分布外泛化

分布外（OOD）泛化是深度神经网络的一个有利但具有挑战性的属性。核心挑战在于源域的有限可用性，这阻碍了模型从虚假特征中学习不变表示。虽然已提出各种域增强方法，但它们主要依赖于插值现有域，并且经常在创建真正“新颖”的域时面临困难。另一方面，人类可以轻松外推新颖域，因此出现了一个有趣的问题：神经网络如何像人类一样外推并实现 OOD 泛化？我们引入了一种新颖的域外推方法，利用大型语言模型（LLMs）中的推理能力和封装的广泛知识来合成全新的域。从感兴趣的类别开始，我们查询 LLMs 以提取这些新颖域的相关知识。然后，我们使用文本到图像生成技术，弥合从 LLMs 衍生的以文本为中心的知识与模型像素输入空间之间的差距。通过用这些新域的高保真、照片级真实图像增强域泛化数据集的训练集，我们在各种基准的单域和多域泛化中均实现了优于所有现有方法的显著改进。凭借为任何类别外推任何域的能力，我们的方法有潜力在没有任何数据的情况下学习适用于任何任务的泛化模型。为了说明这一点，我们提出了一个更具挑战性的设置，称为无数据域泛化，旨在在没有任何收集数据的情况下学习泛化模型。我们的实证结果支持上述论点，我们的方法在此设置中表现出值得称赞的性能，甚至在 VLCS 等数据集上比监督设置高出约 1-2%。