基于表示学习的任务感知调制：环境系统中少样本学习的一种方法
机器学习
2024-10-17 v2 人工智能
摘要
我们提出 TAM-RL（基于表示学习的任务感知调制，Task Aware Modulation using Representation Learning），一种用于异构系统中少样本学习的新型多模态元学习框架，专为具有共同底层前向模型但因实体特定特征而呈现异构性的科学与工程问题设计。TAM-RL 利用带调制网络和基网络的摊销训练过程来学习任务特定的调制参数，从而能够用有限数据高效适应新任务。我们在两个真实世界环境数据集上评估 TAM-RL：总初级生产力（Gross Primary Product, GPP）预测与河流流量预报，展示了相较现有元学习方法的显著提升。在 FLUXNET 数据集上，TAM-RL 仅用一个月少样本数据便将 RMSE 较 MMAML 降低 18.9%；而在河流流量预测中，用一年数据取得了 8.21% 的提升。合成数据实验进一步验证了 TAM-RL 在异构任务分布中的优越性能，在最异构设定下优于基线。值得注意的是，TAM-RL 具有显著计算效率，训练时间至少比基于梯度的元学习方法快 3 倍，且因复杂度降低而更易于训练。消融研究凸显了预训练与适应机制对 TAM-RL 性能的重要性。
引用
@article{arxiv.2310.04727,
title = {Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems},
author = {Arvind Renganathan and Rahul Ghosh and Ankush Khandelwal and Vipin Kumar},
journal= {arXiv preprint arXiv:2310.04727},
year = {2024}
}