COSIME：基于FeFET的用于内存中余弦相似度搜索的联想存储器
硬件体系结构
2022-07-26 v1 新兴技术
摘要
在众多机器学习模型中，需在训练得到的类向量中搜索输入查询，以余弦相似度度量找出最接近的特征类向量。然而，在冯·诺依曼机器上执行向量间余弦相似度涉及大量乘法、欧几里得归一化与除法运算，因而带来沉重的硬件能耗与延迟开销。此外，由于传统架构存在的内存墙问题，对类向量频繁的基于余弦相似度的搜索（CSS）需要大量数据搬移，限制了系统吞吐与效率。为克服上述挑战，本文提出COSIME，一种基于铁电FET（FeFET）器件的通用内存中联想存储（AM）引擎，用于高效CSS。通过利用FeFET器件的单晶体管与门功能、基于电流的跨线性模拟电路与赢者通吃（WTA）电路，COSIME可在存储块中所有条目上实现并行内存中CSS，并输出与输入查询在余弦相似度度量下最接近的字。阵列级评估表明，相较实现近似CSS的AM设计，所提COSIME设计分别实现333倍与90.5倍的延迟与能耗改善，并取得更优分类精度。该内存计算架构在HDC问题上的评估显示，相较GPU实现，COSIME平均可实现47.1倍与98.5倍的速度提升与能效改善。
引用
@article{arxiv.2207.12188,
title = {COSIME: FeFET based Associative Memory for In-Memory Cosine Similarity Search},
author = {Che-Kai Liu and Haobang Chen and Mohsen Imani and Kai Ni and Arman Kazemi and Ann Franchesca Laguna and Michael Niemier and Xiaobo Sharon Hu and Liang Zhao and Cheng Zhuo and Xunzhao Yin},
journal= {arXiv preprint arXiv:2207.12188},
year = {2022}
}
备注
Accepted by the 41st International Conference on Computer Aided Design (ICCAD), San Diego, USA