观察即学习——基于物理原理的深度神经网络可迁移学习的通用方法
数据分析、统计与概率
2020-11-11 v1 机器学习
计算物理
摘要
迁移学习是指将在解决某一机器学习任务时所获得的知识应用于解决一个密切相关的问题。这种方法已在计算机视觉与自然语言处理领域促成了科学突破：最先进模型中学习到的权重可用于初始化其他任务的模型，从而大幅提升性能并节省计算时间。本文展示了一种结合基本物理原理的无监督学习方法，可在不同物理 regime 下实现统计物理问题的完全可迁移学习。通过将基于循环神经网络的序列模型与广泛的深度神经网络耦合，我们得以学习经典统计力学系统的平衡概率分布与粒子间相互作用模型。我们的方法——分布一致学习（distribution-consistent learning, DCL）——是一种通用策略，适用于多种正则统计力学模型（Ising 与 Potts）以及无序（自旋玻璃）相互作用势。利用从单一观测条件集合收集的数据，DCL 成功地对全部温度、热力学相进行外推，并可应用于不同长度尺度。这构成了一种基于物理的、可泛化方法中的完全可迁移学习。
引用
@article{arxiv.2003.02647,
title = {Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles},
author = {Kyle Sprague and Juan Carrasquilla and Steve Whitelam and Isaac Tamblyn},
journal= {arXiv preprint arXiv:2003.02647},
year = {2020}
}