L2ight：通过高效原位子空间优化实现光学神经网络的片上学习
机器学习
2021-10-29 v1 新兴技术
光学
摘要
基于硅光子的光学神经网络（ONN）是一个有前景的硬件平台，凭借其CMOS兼容性、灵活性、超低执行延迟和高能效，可能代表高效AI的范式转变。在线可编程光子芯片上的原位训练颇具吸引力，但在片上可实现性、可扩展性和效率方面仍面临挑战性问题。本工作中，我们提出闭环ONN片上学习框架L2ight，以实现可扩展的ONN映射和高效的原位学习。L2ight采用三阶段学习流程：首先在严苛物理约束下校准复杂的光子电路状态，然后通过解析求解与零阶优化相结合执行光子核映射。L2ight中集成了具有多级稀疏性的子空间学习过程，以实现原位梯度评估和快速适配，释放光学用于真实片上智能的威力。大量实验表明，当在各种模型和学习任务上基准测试时，我们提出的L2ight优于先前的ONN训练协议，可扩展性高3个数量级，效率提升超30倍。该协同框架是首个可扩展的片上学习方案，将这一新兴领域从棘手推向可扩展，并进一步推向高效，面向下一代自学习光子神经芯片。从协同设计视角，L2ight也为硬件受限的酉子空间优化与高效稀疏训练提供了重要见解。我们在 https://github.com/JeremieMelo/L2ight 开源了我们的框架。
引用
@article{arxiv.2110.14807,
title = {L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization},
author = {Jiaqi Gu and Hanqing Zhu and Chenghao Feng and Zixuan Jiang and Ray T. Chen and David Z. Pan},
journal= {arXiv preprint arXiv:2110.14807},
year = {2021}
}
备注
10 pages. Accepted to NeurIPS 2021