YOCO：一种面向大规模 AI 的具备 8 位亚 PetaOps/W 原位乘法算术的混合内存计算架构
硬件体系结构
2025-06-12 v3 人工智能
摘要
在本文中，我们进一步探索了模拟内存计算（AiMC）的潜力，并引入了一种创新的人工智能（AI）加速器架构，名为 YOCO，它具有三个关键提案：（1）YOCO 提出了一种新颖的 8 位原位乘法算术（IMA），通过高效的电荷域计算和时域累加机制实现了 123.8 TOPS/W 的能效和 34.9 TOPS 的吞吐量。（2）YOCO 采用了混合 ReRAM-SRAM 存储结构，以平衡计算效率和存储密度。（3）YOCO 定制了友好的 IMC 注意力计算流程和高效流水线，以加速基于 Transformer 的 AI 模型的推理。与三个 SOTA 基线相比，YOCO 在 10 个 CNN/transformer 模型上平均将能效提高了 3.9 倍至 19.9 倍，吞吐量提高了 6.8 倍至 33.6 倍。
引用
@article{arxiv.2312.11836,
title = {YOCO: A Hybrid In-Memory Computing Architecture with 8-bit Sub-PetaOps/W In-Situ Multiply Arithmetic for Large-Scale AI},
author = {Zihao Xuan and Yuxuan Yang and Wei Xuan and Zijia Su and Song Chen and Yi Kang},
journal= {arXiv preprint arXiv:2312.11836},
year = {2025}
}
备注
6 pages, 10 figures, Design Automatic Conference 2025