从通用到专家：表示的通用化

给定通用模型，学习任务相关的专家表示是下游应用的基本问题。可识别性——即在数据和计算无限的情况下恢复真实表示的渐近保证——至关重要，因为它决定了任何模型的极限。我们在完全非参数的设置中研究此问题，不依赖干预、参数形式或结构约束。我们首先证明，在没有严格时间依赖性且可能存在不连续性的情况下，时间步与任务之间的结构在完全无监督的情况下可被识别，任务分配可以遵循任意复杂且交错的结构。随后，我们证明，在每个时间步内，任务相关的隐含表示可以在简单的稀疏正则化下从无关部分中解耦，而无需任何额外信息或参数约束。就此而言，这些结果建立了一个分层基础：跨时间步可识别任务结构，每个步骤内可识别任务相关的隐含表示。据我们了解，每项结果都提供了首个通用非参数可识别性保证，二者共同标志着迈向可证明的从通用到专家模型的一步。