任务发现：寻找神经网络能够泛化的任务

在开发深度学习模型时，我们通常先确定想要解决的任务，再寻找在该任务上泛化良好的模型。一个有趣的问题是：如果不固定任务而在模型空间中搜索，而是固定模型并在任务空间中搜索，会怎样？我们能否找到模型能够泛化的任务？它们看起来如何，又是否暗示着什么？这些是本文所要探讨的问题。我们提出了一种任务发现框架，通过优化一个基于泛化的量——一致分数（agreement score），自动找到此类任务的实例。我们证明，同一组图像可以衍生出许多神经网络能良好泛化的任务。这些任务反映了学习框架的归纳偏置和数据中存在的统计模式，因此可作为分析神经网络及其偏置的有用工具。作为一个示例，我们展示了所发现的任务可用于自动创建对抗性训练-测试划分，使模型在测试时失败，而无需改变像素或标签，仅通过选择数据点如何在训练集与测试集之间划分即可。最后我们讨论了所发现任务的人类可解释性。