面向通用稀疏任务的可学习扩散时间步

去噪扩散概率模型取得了显著进展，实现了目前最好的生成任务性能。当前扩散模型应用通过附加任务特定解码器，利用来自多步骤前向-后向马尔可夫过程的学习视觉表示进行单任务预测。然而，扩散时间步特征的启发式选择仍高度依赖经验直觉，常导致偏向特定任务的亚最优性能。为缓解此限制，我们研究了多样化扩散时间步特征的重要性，通过自适应选择最适合稀疏密集预测任务的扩散时间步，该任务在任意不可见任务上进行评估。为此，我们提出两个模块：任务感知时间步选择 (TTS)，基于时间步损失和相似度得分选择理想扩散时间步；以及时间步特征整合 (TFC)，整合所选时间步特征以提高稀疏预测性能。配合参数高效微调适配器，我们的框架在仅少量支持查询的情况下有效实现了密集预测性能的优势。我们在大规模具有挑战性的 Taskonomy 数据集上对学习的可调时间步整合方法进行了实证验证，特别是针对实际通用和稀疏学习场景。