数字化观察网 - 信息化观察网 - 引领行业改革
菜单导航

台积电提出内存计算新方案,满足AI边缘部分需求

作者: 数字化观察网 发布时间: 2021年04月26日 21:00:33

备选标题:

1、台积电提出扩展SRAM阵列,缓解边缘计算能耗问题

2、台积电内存计算新突破!SRAM阵列5nm节点功率效率提升19倍

西(公众号:aichip001

编译| 高歌

编辑| 云鹏

芯东西3月16日消息,近期,台积电的研究人员在ISSCC 2021会议上公布了一种改良的SRAM存储器阵列,这种SRAM阵列可能可以应用于AI边缘设备。与传统的冯·诺依曼架构相比,该方法可以提升数据传输效率,降低设备功耗,满足未来AI边缘应用的部分需求。

台积电通过扩展常规SRAM阵列,使得频繁写入权重值的大型与/或逻辑可重新配置网络进行内存计算,支持可编程位宽(每个宏1-8)、有符号或无符号(signed or unsigned)以及4种不同位宽权重(weight)的输入激活。

展开全文

论文链接:https://ieeexplore.ieee.org/document/9365766/authors#authors

一、ReRAM耐用性较差,难以应用于大型神经网络

在最近的2021年国际固态电路会议(ISSCC 2021)上,多个技术会议针对存储器阵列技术展开,以支持机器学习算法的计算需求。

当前,机器学习需要将数据和权重从内存移动到处理单元,然后将中间结果存储回内存。

这一方法效率较低,其无谓的信息传输不仅增加了计算延迟,也增加了相应的功耗。

其“无增值(no value add)”的数据移动是耗散能量的很大一部分,甚至大于“增值(value add)”计算的能量消耗,数据和计算单元权值实际只消耗了一小部分能量。

▲各部分能量损耗(来源:深度神经网络能量估算工具)

对于在边缘实施机器学习的系统来说,提高内存计算效率、降低能量损耗十分重要。

在机器学习中想要提高内存计算效率,重点在于优化每个神经网络节点关联的向量乘法累加(MAC)操作。

训练网络计算每个数据输入与权重的乘积,并将其提供偏差和激活函数。

▲训练网络计算方式(来源:IEEE Xplore)

对于一般网络来说,数据和权重通常是多位数。权值向量对于经过训练的边缘AI网络可以使用有符号、无符号或二进制补码整数位表示形式。

内存计算最终的MAC输出则是通过添加部分乘法乘积实现的。

每个节点中(数据*权重)的位宽是明确定义的。例如,2n-bit向量覆盖2n-bit无符号整数乘积。但是将所有(数据*权重)乘积累加到高度连接的网络中需要更多bit才能准确表示MAC结果。

内存计算研究的一个重点领域是:使用电阻式RAM(ReRAM)实现位线电流检测。活动存储器行字线(active memory row wordline)的数据输入和存储在ReRAM中权值的乘积会产生可区分的位线电流,该电流用于为参考电容充电。

之后模数转换器(ADC)将该电容电压转换为等效的二进制值,进行后续的MAC移位累加。

尽管(数据*权重)产品基于ReRAM的面积效率(area-efficient)较高,但它也有缺点:

1、由于电压范围,噪声和PVT的变化,模拟位线电流检测和ADC的精度受到限制

2、ReRAM阵列的写入周期时间长

3、ReRAM阵列的耐用性较差,限制了通用内存存储阵列的适用性

因此在推理神经网络较小、数据矢量表示受到限制(8位或更少)时,使用ReRAM阵列可以提升面积效率。

但是当神经网络较大、数据精度要求很高,存储阵列需要更大的网络和重构工作负载的情况下,更新权重经常会阻碍ReRAM对位电流进行检测。

二、台积电提出改良SRAM阵列支持更大神经网络计算

在ISSCC上,台积电的研究人员提出了一种替代ReRAM的方法,他们使用改良的SRAM阵列进行(数据*权值)计算,这种方法不需要采用新颖的存储技术,因此可以支持更丰富的机器学习网络集。

▲台积电的SRAM阵列(来源:IEEE Xplore)

如果层数较大,SRAM阵列可以加载数据输入与权值进行节点计算,可以保存输出值并对后续层进行检索。

与ReRAM相比,SRAM阵列减少了数据和权值传递的能耗,解决了ReRAM的耐用性问题。

每个slice具有256个数据输入,它们连接到“ X”逻辑。数据输入向量的连续字节在时钟周期中被提供给“ X”门。

一个slice中存储了256个4-bit权值,每个数据输入代表一个权值,每个权值连接到“ X”逻辑的另一个输入。

▲SRAM阵列中的逻辑集成示意图(来源:IEEE Xplore)

热门标签