新氦类脑智能 > 资讯洞察 > 行业动态 > 【类脑芯片】支持新型架构的存储设备 2022/8/5
【类脑芯片】支持新型架构的存储设备

全文共6066字,预计阅读时间15分钟



作者 | 程韫韵(Emily)

编辑 | 谭舒雯(Poppy)



注:文中图片均来源于网络

前言

在人工智能高速发展的热潮下,庞大的数据量和复杂的算法模型对算力及芯片提出了新的需求。类脑芯片成为近年来学术界和产业界都越来越关注的重点方向,甚至在Gartner的芯片产业预测图中将类脑芯片判断为第三代人工智能芯片。上海新氦类脑智能科技有限公司(以下简称“新氦类脑智能”)就在此背景下诞生,类脑芯片及片上智能系统是新氦类脑智能的研发及商业转化的重点方向。近年来新氦类脑智能看到许多类脑芯片领域的创新突破和科研热潮,因此新氦类脑智能总结了类脑芯片领域的现状、问题和趋势,希望在充满信心的同时保持客观冷静分析,给行业的发展带来一些启发和推动作用。



简 介


目前市场上应用成熟的存储器有易失性的SRAM和DRAM,和非易失性的闪存NOR Flash和NAND Flash(图1)。SRAM(Static Random Access Memory)和NOR Flash的缺点是容量小、价格高,而DRAM(Dynamic Random Access Memory)和NAND Flash虽然有较大的容量和较低的价格,但它们无法直接使用,需要进行软件初始化。


近几年,神经形态计算成为后摩尔时代最具潜力的技术之一。神经形态计算系统高度平行互联,能够在存储里实现相对较低的能耗。而想要将神经形态系统应用于硬件上,需要实现模拟生物神经元的人工神经元和模拟生物突触的人工突触。二者都需要有高效、可扩展的特性,并能使用相关的学习规则来促进大规模神经形态功能的实现。因此,许多研究致力于用后CMOS设备实现人工突触,如电阻随机存取存储器(Resistive Random Access Memory, ReRAM)、相变存储器(Phase Change Memory, PCM)和铁电场效应晶体管(Ferroelectric Field Effect Transistor, FeFET)等。还有一些研究涉及开发非CMOS神经元,如光学神经元。


1.png

图1 存储器分类


两端设备


可变电阻式存储器

(Resistive Random Access Memory, ReRAM)


狭义上讲,忆阻器是一种可以根据施加的电压或电流保持内部电阻状态的两端电阻开关。由于其可扩展性、与CMOS的兼容性和模拟电导调制等特性,忆阻器成为存储和非传统计算的可行技术之一。ReRAM相比其他非易失性存储的优势是电阻值范围大、密度高,功耗比PCM低,但因为通道形成时间难以预估,ReRAM的一致性较低。目前ReRAM可以扩展到先进工艺节点,能够进行大批量工业生产,并且满足神经形态计算等应用对能耗和速度的要求。在氧化物、氮化物、钙钛矿、硫族化物和有机材料中都可以观察到忆阻转换现象。ReRAM有一个包含上电极(金属)、交换媒介(绝缘体)和下电极(金属)的简单三层结构(图2[1])。电阻的转换原理是在两电极之间施加电压时转换材料中有丝状物形成。根据不同的转换材料和存储元件,ReRAM有不同的使用方法,这些变量会导致较大的性能差异[2]。ReRAM具有生物神经元和突触的时间特性和模拟特性,基于ReRAM技术的人工神经突触是一种在神经形态计算中实现高密度和可缩放突触阵列的可靠方法[3]。密歇根大学电气工程与计算机科学系的卢伟教授团队在2017年展示了一个布置在交叉网络中的忆阻器神经拟态原型设备,拥有多种性能优势(图3),具备商业化的潜力。[4]


2.png

图2 ReRAM结构

3.png

图3 ReRAM优势



扩散型忆阻器

(Diffusive Memristor)


含银的扩散型忆阻器是一种易失性阈值开关,在零偏差的情况下能够实现传导通道的自然断裂。这种传导演变独特的时间动态来自于活泼金属的电化学和扩散动力学性质,能够有效地模拟有弛豫过程的突触可塑性。金属丝形成的延迟可以模拟泄漏积分触发,在完整忆阻神经网络中与漂移型忆阻突触搭配可以实现非监督学习和脉冲计时相关可塑性。马萨诸塞大学阿莫斯特分校的扩散式忆阻器由在两个电极间嵌入纳米银颗粒的氮氧化硅膜构成。(图4)在通电的情况下,绝缘体氮氧化硅膜上排列整齐的银粒子逐渐扩散,透过薄膜形成一簇簇导电丝,从而将电流从一个电极传导到另一电极。而电源关闭后,纳米银颗粒会因为温度下降而重新整齐排列。[5](图5)高频低压的脉冲序列使元件的导电性逐渐增加至电流可以通过的数值,但导电率会随着脉冲的持续而最终降低。因为这一过程与生物突触中钙离子的表现相似,所以可以用来模拟神经元的短期可塑性,即忘记较早的短期信息,并锁定更多相关信息。传统的漂移型忆阻器是基于物理过程,因此保真度和其他突触功能都受到限制。而扩散型忆阻器不仅可以模拟生物突触的工作原理,还可以进一步展示突触功能的本质,如钙离子浓度变化、移动物体的耗尽效应和相互反应的物质间的动态平衡等。


4.png

图4 Au/SiOxNy:Ag/Au扩散型忆阻器侧面示意图

5.png

图5 钙离子与银原子动力学类比示意图



相变存储器

(Phase Change Memory, PCM)


相变存储器的原理是相变材料硫族化物在不同状态下电阻率不同,结晶态电阻率低,而非晶态电阻率高。PCM采用纳米级材料,优势是工程化容易,电阻值范围大、密度高,但存在寿命较短的问题,且由于依靠电流热效应使纳米材料结晶,PCM的功耗比RAM高。PCM器件是相对成熟的设备,商业化也会较快实现。PCM器件的SET操作通过施加数个能够使非晶态逐渐结晶的SET脉冲实现。难点在于实现递增的RESET操作,因为会涉及到一个融化和快速冷却的结晶矩阵。解决方法是将两个PCM器件整合成一个突触设备来实现突触时间相关可塑性,SET操作会在两个PCM中实现长时程抑制(Long-Term Depression, LTD)或长时程增强(Long-Term Potentiation, LTP)。PCM最常见的材料是GeSbTe₅,不同的添加剂如N₂、SiO₂等可以调节结晶和融化的动力学。存储元件结构通常是一层硫族化合物夹在两层惰性金属电极中(图6)。快速地移除输入脉冲会使材料形成高阻值的不定型态,如果要得到相反的变化,可以施加一个时长为100至50ns的慢速电脉冲,材料经过阈值分割后可以让电流在高阻值态传导。而慢慢地移除输入脉冲会让非晶区结晶,使元件回到低阻值的多晶态。硫族化合物的真正优势是这些转换可以至少重复10⁶至10⁸次,并且元件可以在85℃的环境中保持功能至少10年。因为存储元件晶态和非晶态的程度可以通过电能输入控制(图7),所以元件可以被编程为多种稳定的形态,为多种模拟运算应用提供了可能,如内容定址存储器中的模糊匹配。而且,早期在纳米设备中模拟突触可塑性也是在PCM元件中完成[6]。英特尔、三星、美光科技和松下都曾多次涉足PCM领域,IBM Research曾推出一款可以作为非易失性缓存的PCM DIMM。


6.png

图6 PCM结构

7.png

图7 阻值与写入电流的关系



导电桥接存储器

(Conductive Bridging Random Access Memory, CBRAM)


导电桥接随机存取存储是一种可以用作神经元和突触实现的非易失性内存技术。与电阻随机存取存储不同的是,CBRAM利用电化学特性来形成和溶解连接,有速度快(~ns)、纳米级和低能耗(~nW)的优势。CBRAM通过绝缘固体电极或氧化物形成导电金属丝。(图8)神经形态应用的难点之一是金属丝形成(SET)过程的内在突发性,尽管金属丝的扩展可以渐进式进行,但可能形成极导电状态,从而导致神经形态系统较大的整体电流。因此,积分触发神经元需要相当大的电容。Yu的研究团队设计了一种物理模型来研究CBRAM设备的转换动力学[7]。在SET过程中,上电极逐渐被氧化,伴随着金属离子漂移到下电极,并在下电极被还原,从而生成垂直生长的金属丝,直到金属丝触及上电极。在RESET过程中,由于金属丝顶端的增强横向电场,金属丝有横向溶解的趋势。活化能和有效跳跃距离等关键参数可以从电测量值中得到,类STDP的电导改变通过调节脉冲振幅实现。Suri的研究团队已证实CBRAM设备有作为低功耗随机神经系统的二进制突触的功能[8]。二进制CBRAM突触和随机STDP学习规则允许在完全非监督情况下异步模拟数据流用于重复且实时的听觉和视觉模式的识别和提取。CBRAM等硅材料存储面临的问题是无法实现3D堆叠技术,如果仿照NAND Flash进行堆叠,会失去随机访问性。


8.png

图8 CBRAM结构



自旋电子器件

(Spintronics Devices)


MRAM是一种使用电子自旋来储存信息的内存技术,能够结合存储内存的密度和SRAM的速度实现非易失性和高能效。MRAM的优势在于寿命长、速度快,但它的阻值变化范围较小,工程化较困难。基于MRAM的自旋电子器件由两层金属铁磁体和夹在中间的穿隧氧化层组成,即自由层和固定层,这种三层结构被称为磁性隧道结(Magnetic Tunnel Junction, MTJ)(图9)。固定层的自旋极化有特定的方向,而自由层的磁化可以被外部电流或磁场改变。当两层金属的磁化方向相反或反向平行时,器件表现高电阻值;当磁化方向平行时,器件处于低电阻态。元件的阻值由自由层相较于固定层的磁化程度决定,自由层方向的转换是随机的,但与电压振幅和脉冲宽度密切相关(图10),切换时间的内部随机性可以用于随机突触的研究。MTJ设备中的多重电阻态可以通过在自由层中加入畴壁实现,畴壁将两个反向极化的磁畴分开。利用自旋扭矩转换现象移动畴壁可以调节设备电导,即在自由层中改变平行和反向平行域的相对比例。自旋电子设备可以用作神经形态计算器件的原因是它有多种与CMOS兼容的可调功能,可以在纳米级别实现高密度。神经形态系统中的自旋电子器件包括自旋转移矩(Spin-Transfer Torque, STT)设备、自旋波(Spin-Wave)设备和磁畴壁(Magnetic Domain Walls)。自旋电子设备可以实现与线上学习规则(eg.STDP)、完整网络或网络模块相匹配的神经元和突触[9]。自旋电子神经元能够实现比相应的模拟/数字CMOS设备低10至100倍的能耗(图11),因此能够满足突触阵列的超低功率操作。此外,自旋电子突触还能提供退耦的写入和读出电流通路,为自主学习神经形态计算机的实现提供了可能。[10]


9.png

图9 磁隧道结示意图

11.png

图10 自由层转换与电压和时间的关系

12.png

图11 自旋电子神经元与模拟/数字CMOS神经元能耗比较



三端设备


铁电场效应晶体管

(Ferroelectric Field-Effect Transistor, FeFET)


FeFET是一种将铁电薄膜作为栅极绝缘层的三端器件,由堆叠的氧化物材料组成,包括ZnO/Pr(Zr,Ti)O₃和(PZT)/SrRuO₃等。(图12)铁电材料能够在两种极化状态下可逆地转换,可以作为内存的两种数字状态。理论上由于铁电极化的库伦相互作用,通道电导会随着PZT膜极化诱导的电子密度改变。通过施加一个门电压,以非易失性的方式,根据极化方向进行调制。根据这些材料特性,对称或非对称的STDP学习功能能够通过施加非线性脉冲门电压,在基于FeFET的突触设备中实现。突触设备的三端结构有利于同时学习的实现,因为权重的更新无需删除神经元间的信号传输,而使用两端突触设备的神经网络需要在学习时停止信号传输[11]。铁电体如PbZrOx(PZT)、SrBi₂Ta₂O₉(SBT)、BaTiO₃(BTO)和BiFeO₃(BFO)等都作为神经形态应用材料被固态物理学家广泛研究,主要特性包括可扩展性、CMOS兼容性和可靠性如泄漏电流等。传统的铁电材料含有对环境有害的铅,如锆钛酸铅(Lead Zirconat Titanate, PZT),因此亟需研发一种无铅且与CMOS兼容的铁电材料。FeFET中理想的铁电材料应该足够薄,因为垂直NAND结构中门堆栈的厚度需要最小化,因此铁电材料HfO₂引起了广泛关注,它能够在7-10nm厚度下显示出铁电性[12]。Boscke研究组最早在2011年发现了基于HfO₂的薄膜的铁电性,能够与硅、锆、铝、钆和镧一起使用[13]。FeFET还具备一些作为电子突触的优点,如快速编程操作、对称的增强下降曲线和高ON/OFF比。


13.png

图12 FeFET结构



突触晶体管

(Synaptic Transistors)


结构上由晶体管衍生而来的三端人工突触(图13)在神经形态系统中有很大的应用潜力。门接线端(突触前)用来易失(短期可塑性)或非易失地(长期可塑性)控制通道的电导(突触权重),意味着可以将写入操作(用门接线端调制突触权重)与读出操作(用源极端读出突触权重)分开,这正是两端忆阻设备缺少的。近些年,电导改变的操作机制从双电层升级到铁电体。如表1所示,不同的通道和电解质材料会导致不同的性能。如果电解质是离子溶液或凝胶态,突触晶体管设备的可扩展性将成为一个潜在问题,而这一问题可以通过引入固态电解质解决,如聚乙烯醇(质子导体)和聚氧化乙烯中的LiClO₄(锂离子导体)。这些设备在耐久性、速度和电解质稳定性方面会遇到一些挑战,但它们可以拥有超越生物突触的能量效率。潜通路和自放电的问题可以通过使用存取设备权衡面积和能量效率来缓解,更好的耐久性可以通过提升薄膜的质量实现,设备操作速度的提升则依靠优化离子和固态电解质的选择实现。新加坡国立大学Ang Kah-Wee教授团队与新加坡科技局联合提出了一种以化学气相沉积法(CVD)生长的晶圆级连续单层二硫化钼(MoS₂)薄膜为基础构建的忆阻晶体管固态突触器件。[14]在静态条件下,器件能够同时表现出栅极可调控的源-漏双极型阻变特性,以及显著的转移曲线迟滞特性,兼顾了两端忆阻器和三端晶体管的电学特征。团队通过对器件的漏极和栅极分别施加电学脉冲刺激,验证了器件包括长程增强(LTP)、长程抑制(LTD)、脉冲时间依赖可塑性(STDP)等在内的重要突触模拟特性。不同于以往的人工突触器件中只允许某一特定电极作为神经元输入,该器件的多神经元输入特点为未来神经形态计算系统设计提供了更高的灵活性。


14.png

图13 突触晶体管结构


表1 突触晶体管材料与性能比较

15.png



光学设备


光学实现和涉及光学和光子组件的实现在神经实现中较为常见。在早期的神经形态计算中,光学实现最初被考虑是因为其内在的平行性,但由于存储的实现在光学系统中十分困难,所以光学实现沉寂了几十年。近几年,由于其潜在的超速操作、相对中等的复杂度和可编程性,对光学实现和光子平台的关注再度出现。在神经形态系统的发展过程中,光学和光子组件被用于制造不同的神经形态组件,光学神经形态实现包括早期神经形态实现中的光学或光电子突触实现,和最近涉及新材料的光学突触。基于微纤维和碳纳米管的光电突触和光子突触表现出高带宽和无电互联能量损耗的潜在优势。Cheng的研究团队研发出一种基于相变材料的全光子突触,能够在物理层面模拟神经突触,并实现与Hebbian学习和STDP规则兼容的突触可塑性[15]。如图14所示,有离散PCM结构的波导作为光子突触,波导的输入和输出分别与前神经元和后神经元相连。光循环器用来连接突触的输出和后神经元,并施加光学脉冲来改变突触权重。从前神经元到后神经元的低能量光传输可以被设备监测,其中传输电平与突触权重有关。光学脉冲已被证实可以通过改变整合到波导上的PCMs来提供非易失性的光子存储[16]。光场模拟显示光子突触中的电场分布比传统波导设计更均匀,这让突触权重的固定调节成为可能,即使用预定数量、给定能量和给定时长的固定脉冲。而且通过前后神经元信号的安排,可以实现一种能够根据前后神经元信号的时延调制突触权重的全光学方法。通过使用优化后的设备设计和交换协议,以及低开关电源的PCMs,最终实现规模上与先进电子神经形态计算机相似的大规模光子神经形态网络,而且能在近似于人脑能耗的水平上运行。Chai的研究团队设计出一种结构为Pd/MoOx/ITO(indium tin oxide)的两端突触设备ORRAM,拥有紫外光光敏、光学触发非易失和易失性电阻开关和光调谐突触行为,能够完成图像传感、图像记忆和实时预处理功能如对比增强等。[17]


16.png

图14 模拟神经元突触的光子突触结构



小结


以上每种存储设备有各自的优势,适用于不同的应用要求。目前,神经形态系统仍需要成熟可靠的CMOS电路使外围组件生效,意味着神经形态系统与CMOS电路是互补而非替代关系。然而,尽管CMOS可以用于SNN的搭建,但CMOS不能模拟时间的神经突触行为。因此,新的物理紧致装置,如扩散式忆阻器,拥有与生物突触和神经元物理级的内在相似性,使在新的计算范式下复制生物神经网络行为更有效。跨学科的合作交流,如材料科学、设备工程、硬件设计和计算机架构等,可以实现新设备的持续发展,解决神经形态研究领域的诸多挑战。


为了从基础研究推进到集成系统再到实际工业发展,新兴存储设备的制造必须与硅CMOS集成兼容。除了从材料和工具上简单地与CMOS兼容外,新兴设备还需具备与CMOS匹配的操作环境,如驱动电压、操作电流和温度稳定性等。制造成本必将成为选择应用中与CMOS整合的存储技术时考虑的一个重要因素。区别传统存储技术和新兴设备的一个关键指标是能量消耗。尽管优化整体转换能量很重要,但当许多设备在交叉开关上连接并在阵列周围被神经元驱动电路驱动时,还需格外注意写入电流和诱导电导变化的时标。每种设备需要的电流值意味着驱动电路的驱动能力,而转换的时标应与写入和实施各种可塑性规则的波形相匹配。寄生电容、电线的阻值和电迁移限制需要被进一步优化以实现在CMOS基础上的有效性能提升。相较于成熟的硅CMOS技术,大多数新兴存储技术的缺点还包括有限的可靠性。许多设备存在较大的设备间变异性,单个设备重复的编程步骤也有可变性存在。阻值水平存在漂移和保留损失问题,并且会随着缩放和低写入能量环境愈发显著。然而,新兴设备在算法或架构层面也有可取之处,因为大多数生物计算实体,如神经元和突触,在操作特性中也表现出较大的可变性。因此,生物系统如何实现可靠运算,如何将这些技术应用到容错硬件平台中将成为未来有意义的研究课题。



上下滑动查看文章参考资料:

[1]

Neuromorphic Computing Using Non-volatile Memory by Geoffrey W. Burr, etc.

[2]

https://www.crossbar-inc.com/technology/reram-overview/ ReRAM Overview

[3]

https://www.jiqizhixin.com/articles/2019-01-25-26 

[4]

https://www.nextplatform.com/2017/02/15/memristor-research-highlights-neuromorphic-device-future/Memristor Research Highlights Neuromorphic Device Future by Jeffrey Burt

[5]

Memristors with Diffusive Dynamics as Synaptic Emulators for Neuromorphic Computing by Zhongrui Wang, etc.

[6]

Neuromorphic Computing Based on Emerging Memory Technologies by Bipin Rajendran and Fabien Alibart

[7]

Modeling the Switching Dynamics of Programmable-metallization-cell (PMC) Memory and Its Application as Synapse Device for a Neuromorphic Computation System by S. Yu and S. P. Wong

[8]

CBRAM Devices as Binary Synapses for Low-power Stochastic Neuromorphic System: Auditory (Cochlea) and Visual (Retina) cognition Processing Application by M. Suri, etc.

[9]

A Survey of Neuromorphic Computing and Neural Networks in Hardware by Catherine D. Schuman, etc.

[10]

Spintronic Devices for Ultra-low Power Neuromorphic Computation by Abhronil Sengupta, Karthik Yogendra, and Kaushik Roy.

[11]

Three-Terminal Ferroelectric Synapse Device with Concurrent Learning Function for Artificial Neural Networks by Y. Nishitani, etc.

[12]

Ferroelectric Materials for Neuromorphic Computing by S. Oh, H. Hwang, and I. K. Yoo.

[13]

Ferroelectricity in Hafnium Oxide Thin Films by T. S. Boscke, etc.

[14]

Artificial Synapse Based on Multiterminal Memtransistors for Neuromorphic Application by Lin Wang, etc.

[15]

On-chip Photonic Synapse by Zengguang Cheng, etc.

[16]

Integrated All-photonic Non-volatile Multi-level Memory by C. Rios, ect.

[17]

Optoelectronic Resistive Random Access Memory for Neuromorphic Vision Sensors by Feichi Zhou, etc.


声明:本文章发布目的在于传递更多信息,并不代表本公众号赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请及时与我司联系,我们将在第一时间处理!



作 者 介 绍

/

程 韫 韵 Emily

/


新氦类脑智能战略总监,复旦-麻省理工学院国际工商管理硕士,拥有多年跨区域、跨行业的企业战略咨询经验。在类脑智能、人工智能技术及应用落地方向有深入的行业分析和市场洞察,为政府、企业提供数智化转型咨询服务,为AI创业团队提供商业落地建议。主导撰写AI技术白皮书,类脑芯片白皮书。