摘要

        从医疗到农业,从能源到交通,人工智能(AI)的浪潮迅速席卷了各行各业,给人们带来了便捷的生活与先进的生产制造技术。然而,与生物大脑的认知能力相比,人工智能仍处于初级阶段。为了弥补这一差距,研究学者们尝试将大脑的结构和运行原理引入当前AI模型算法和硬件设备的设计中,突破目前面临的神经网络的智能缺陷和硬件系统的算力限制。研究表明,受大脑的灵感,启发的算法设计可以有效地提高人工智能计算模型的智能水平,甚至可以较好地完成部分传统网络所无法做到的任务,如连续学习等。因此,类脑智能逐渐成为当前AI领域的热门研究方向,学术界和工业界逐步加大了对此的人力和资源倾斜,借以实现由脑神经机制和认知行为原理启发的人工智能。

        类脑智能有望使人工信息处理系统以非常低的能耗,产生出可以与人脑相比拟的智能。这一方向的实质进展将可能真正开启智能化革命的序幕,从而对社会生产生活带来深刻的变革。本文较为系统地梳理了当前类脑智能基础理论、硬件和软件三大研究方向,总结了类脑智能的技术瓶颈,希望通过本文让读者对类脑智能初步建立起较为全面的认识,重视该领域的相关研究及进展,启发更多的新思路和探索,开辟人工通用智能研究的新路径。

1 背景介绍

        历经70年的发展,人工智能在模式识别、智能机器人等领域已取得了许多突破性的进展,推动人类社会向智能化时代迈进。但是,目前人工智能的进展主要集中在专用智能领域,主流技术路线仍是数据智能。事实证明,数据智能存在一定的局限性,比如需要海量的数据和高质量的标注、高度依赖于模型构建、自主学习及自适应等能力弱、计算资源消耗大、逻辑分析和推理能力不足、仅具备感知识别能力等。这远远达不到我们对人工智能实现类人智能的期望,因为人脑并不存在这些问题,它能举一反三、融会贯通,在一套系统内可以处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题,是一个几乎完美的通用智能系统。这就引发了当前人工智能的另一条技术发展路径——以认知仿生驱动的类脑智能。

        与传统AI的数据智能与专用智能不同,类脑智能通过模仿大脑智能机制启发设计新的高水平的通用智能,拥有与大脑类似的信息处理机制,可以搜集加工来自不同感官的信息,自行做出适当的判断,最后指挥输出系统做出与人类反应类似的决策。类脑智能在情绪、面孔和模糊信息处理等方面明显优于现在的人工智能,在认知、创新和灵活性等方面具有人脑的特征和优势,因此有人也把类脑智能视为当前人工智能在未来的升级版。

        从定义角度,类脑智能是受大脑神经运行机制和认知行为机制启发,以计算建模为手段,通过软硬件协同实现的机器智能,具有信息处理机制上类脑、认知行为表现上类人、智能水平上达到或超越人的特点[1]。

        随着大脑成像、脑机交互、生物传感、大数据处理等新技术涌现迭代,脑科学开始与计算技术、人工智能、认知心理等其它学科交叉融合,作为AI新突破口的类脑智能正迎来令人兴奋的技术奇点时刻。2018年8月,Gartner公司发布了该年新兴技术成熟度曲线,公布了5大新兴技术趋势,其中就包含了类脑智能、神经芯片硬件和脑机接口。近年来,世界各国都相继对这一领域投入了大量的人力和资源进行研究,如美国的“推进创新神经技术脑研究计划”、欧盟“人脑工程”、日本“脑科学战略研究项目”等。中国也在2016年全面启动了脑科学计划,研究医学的大脑揭秘、脑部病变以及类脑智能的技术开发。

        无论是在国内还是在国际上,类脑智能正在进行诸多新颖的尝试和探索。一些研究小组从硬件的角度出发,开发神经形态架构,为大脑模拟提供物理平台。另一部分学者则正在构建软件框架,利用现有硬件,使用新算法模拟大脑行为。目前,这些研究均是一些不成熟的粗浅尝试,还未形成统一的理论和框架,相关标准还未制定,类脑智能领域还存在着巨大的发展空间。本文主要围绕当前类脑智脑的三个主流研究方向(Fig.1)进行阐述,包括神经科学与脑信息处理(理论)、类脑芯片与计算系统(硬件)和类脑模型与算法(软件),由于生物理论层和硬件层较难入手本文只作简要介绍,重点阐述了软件算法层的研究方向和技术手段,最后在文末介绍了目前领域内遇到的挑战与发展瓶颈。

Fig.1 类脑智能方向与技术

 2 神经科学与脑信息处理

        类脑智能的本质要求是对人脑与智能行为的模拟,因而相关的生物结构与机制原理是其研究的重要基石。作为类脑智能的基础理论层,神经科学的研究特别是大脑信息处理基本原理与机制的研究尤为重要。我们首先需要了解人脑如何通过同一系统实现不同的认知能力,才能从中得到启发并设计下一代智能系统。基于脑认知与神经计算,专家学者们主要从生物医学角度研究大脑可塑性机制、脑功能结构、脑图谱等大脑信息处理机制。
 

Fig.2 STDP学习窗函数[2]       
 

        人脑是一个由近千亿神经元通过数百万亿的接触位点(突触)所构成的复杂网络,其信息的有序传递和处理是实现感觉、运动、认知等各种脑功能的物质基础[3]。虽然我们已经对神经元间信号传导的生理机制有了一定了解,同时也对大脑皮层各个部分主要掌管或参与的生理活动有了一定研究,但是这两者之间信息的传递和解析是如何实现的,我们几乎一无所知。相关理论知识的缺少,成为了类脑智能最重要的技术痛点之一。因此,目前神经科学的研究热点主要集中在从神经突触连接的微观层面、神经元间连接的介观层面及脑区间连接的宏观层面全面解析脑网络的结构,观察脑网络的活动,最终阐明脑网络的功能,即信息存储、传递与处理的机制,从而构建认知脑计算模型。

        通过逐步构建完整的认知脑模型,我们可以从中获得设计的新灵感。由于对脑认知原理的局限以及未意识到类脑设计的优势,传统的人工神经网络(包括深度神经网络)只有部分受脑神经网络工作机制的启发进行设计与架构,绝大多数的算法还是没有采纳这些脑机制或过于简化。例如,网络权重的训练算法并不不符合人脑中学习与记忆遵循的法则,即Hebb学习法则与脉冲时序依赖的突触可塑性(STDP)[4][5](Fig.2)。另一方面,人工神经网络尺度单一,并未实现人脑中的多尺度学习与记忆框架,而只有整合多尺度机制,才能从根本上颠覆现有的计算模型,实现创新。

        总体而言,脑神经科学的深入研究可以给类脑智能带来新的原理机制模拟,提升算法性能与智能水平,也能从神经科学和脑运行机制方面提供当前AI所缺乏的原理解释,突破神经网络模型的“黑盒”状态。因此,如果希望未来的AI系统变得更加一般化和智能化、建立支撑解释AI的理论体系,发现人类大脑的内部运作将起到至关重要的作用。

3 类脑芯片与计算系统

        人工智能的发展不仅需要算法模型的创新以提升其智能水平,现实迫使它更需要新的硬件及平台支撑目前软件算法的运行要求及计算消耗。传统的冯·诺依曼架构由于其局限性(Fig.3),已逐渐无法满足当前高计算、低能耗及复杂数据处理的需求。而生物大脑在耗电量需求、训练数据样本数量以及适应新情况和意外情况的能力方面明显优于传统计算系统,受大脑启发的类脑计算技术有望通过模拟生物神经元和突触的功能,实现更高的智能水平和能源效率。
 

Fig.3 传统计算系统的局限性 

        类脑计算系统借鉴了人脑存储处理信息的方式,现了存储计算一体化,具有低功耗、高鲁棒性、高效并行、自适应等特点,既适用于处理复杂环境下的非结构化信息,又有利于发展自主学习机制,甚至模仿大脑的创造性。目前,类脑计算系统研究的热点包括设计以完全拟人化为目标的类脑芯片、寻找更适合的器件以模拟单个神经元(如忆阻器)、设计非冯氏体系为基础的处理器等。不同的类脑(神经形态)平台使用不同的方法,如模拟数据处理、异步通信、大规模并行信息处理或基于脉冲的信息表示等。

 Fig.4 类脑芯片的结构设计与实现

        作为计算系统的核心,类脑芯片结合了微电子技术和新型的神经形态器件,完全参照人脑的计算和存储方式设计(Fig.4),通过类似于神经元动作电位的“神经锋电位”相互交流,融合记忆和处理实现存储与计算的深度融合,大幅度提升计算性能,提高集成度,降低能耗[6]。因此,具有广阔应用前景的类脑芯片在近十年内引起了全球研究人员的广泛兴趣,吸引了越来越多的研究投入并产生了一系列研究成果。目前,主要的类脑计算方案代表有曼彻斯特大学的SpiNNaker芯片[7]、IBM的TrueNorth芯片[8]、海德堡大学的BrainScaleS芯片[9]、斯坦福大学的Neurogrid芯片[10]、Intel的Loihi芯片[11],以及清华大学的Tianjic芯片[12]。 

 Fig.5 Tianjic芯片FCore的结构设计

        虽然不同的神经形态芯片模拟的神经结构层次不同,设计的架构也可以说是大相径庭,但下面还是以Tianjic芯片为例,介绍一下类脑芯片的独特之处: 

  •   计算基本单元:以统一的功能核FCore(Fig.5)为基本计算单元,核内包括轴突(输入)、突触、树突(计算)、胞体(输出)和神经路由器构建单元,几乎整个FCore可重构,在不同模式(SNN、ANN)下具有更高的利用率;
  •   存算一体化:将神经元中对应的时域计算、空域计算以及非线性计算,按不同的需求分别结合运算与存储单元,大大降低了计算能耗;
  •   串/并行计算:以Stream组织数据流,操作中将树突和胞体分为多个组,组内计算并行,组间执行串行计算,其吞吐量和功效比GPU更高;
  •   高集成高性能:采用极易扩展的2D-mesh众核互联结构,单核包含256个神经元,在14mm2硅片上集成了>1000万精度可变的突触,能够为各种典型人工神经网络运算提供峰值达到1.3TOPS算力;
  •   低能耗设计:模拟神经突触传递结构,每个神经元在本地进行计算,神经元群体呈现分布式工作状态,即将任务分工每个神经元只负责一部分计算,功耗更低;
  •   工具链软件:支持从应用层面脉冲神经网络和人工神经网络算法到芯片硬件的映射实现,可将80%训练好的网络直接映射到芯片上,造成的准确率损失仅为0.01% ~ 1%。

        除了上述基于硅技术的类脑计算芯片外,还有一部分类脑芯片是基于新型纳米器件和技术,如阻变存储器和忆阻器阵列STT-RAM、PCM、RRAM等。这类型的芯片直接利用定制的器件结构模拟生物神经元的电特性,集成度更高,是非常有潜力的类脑计算芯片方案。但是,目前大规模阻变存储器制造工艺相对不成熟,一致性和重现性都较差,导致其规模不如前一种类脑芯片。

        目前,类脑芯片与计算系统领域仍处于起步阶段,面临着诸多的挑战与技术瓶颈亟待解决突破,而这正是我们信息产业借此换道实现跨越式发展的契机。当然,类脑计算系统的研究并非是为了完全取代传统的数字计算。数字计算机擅长于高精度计算,而类脑计算则擅长于模式识别、分类和预测等认知任务。两种系统更适合相互补充,未来的处理器可以将两者融合、协同计算。

4 类脑模型与算法

        要真正实现类人的人工通用智能,除了需要上述硬件基础,还需要在理解人脑处理信息的理论基础上设计新型的类脑神经网络。得益于长期的神经科学研究,专家学者们不断地发现并提出新的机制和结构,使得从大脑神经系统结构和认知行为机理获得启发,研制具有更强信息表征、处理和学习能力的智能计算模型与算法成为了可能。本章节将从目前已有的类脑算法研究成果及新一代网络模型两个角度,系统地介绍类脑智能的软件研究方向。

4.1 脑机制与类脑算法的初步成果

        在人工智能的发展历程中,神经科学可以说是强大的助攻之一。正如神经网络本身就是对脑网络浅层次的模拟,许多模型与算法的灵感来源及设计原理直接来自于神经科学。Fig.6中列举了部分受脑机制和行为学启发的类脑算法:

  • 视觉信息过滤与汇集:卷积神经网络[13][14]利用卷积、池化、非线性激活、归一化等操作可以提取图像中的关键特征,并实现不同特征的迁移学习;
  • 视觉选择性注意:注意力机制上[15][16]可以忽略场景中的不相关物体,将更大的权重赋值给重要的特征,在复杂任务分类中表现更为突出[17][18];
  • 奖励评估:强化学习对智能体的积极行为给予正值奖励,通过将环境中的状态映射到行动中以最大化未来奖励期望,在游戏、博弈类任务中表现优异,甚至超过了人类水平[19];
  • 情景记忆[20]和互补学习系统[21]:DQN[22]通过经验重放,从过去发生的成功或失败的经验中重新学习,而情景控制架构只需少量样本训练就能快速学习新的概念知识,加速了深度网络的学习过程;
  • 工作记忆[23][24]:RNN[25][26]首次引入了时序的概念,具有天然的时间深度,并且对任意的序列数据场景具有适应性,进阶的LSTM[27]则通过门控单元解决了部分梯度消失和爆炸的问题,在多个领域内带来了显著的性能提升;
  • 突触巩固:EWC[28]在执行中会根据某些权重对之前任务的重要性来减慢学习速度,实现在不增加网络容量的情况下学习多个任务的目的;
  • 情境学习:CDP[29]中编码子模块负责将情境(任务相关)信息编码为适当的控制信号,旋转子模块则利用控制信号处理任务输入,克服了灾难性遗忘的难题。

Fig.6 类脑算法成果示例 

4.2 新一代人工神经网络模型研究

        虽然现有的深度网络模型从某些角度借鉴了人脑信息处理的部分原理并取得了不错的效果,但受限于生物机制原理及硬件,总体而言依然是非常初步的尝试,借鉴脑结构与信息处理机制以提升现有模型的性能和智能水平仍然具有很大的发展空间。下面将介绍类脑智能算法目前及未来的两大重要领域——认知功能算法研究与脉冲神经网络(SNN)。

4.2.1 基于认知功能的新型神经网络与算法模型

        由于传统AI系统从待解决问题相关数据的特点与问题目标的角度出发,从计算的视角设计算法,导致所实现的智能系统只适用于解决某一类问题。而类脑智能研究长期的目标是实现通用智能系统,这就需要首先研究人脑如何通过同一系统实现不同的认知能力(Fig.7),从中得到启发并设计下一代智能系统。因此,基于认知功能的类脑网络与算法是目前及今后类脑智能重点研究的方向之一。

Fig.7 类脑的模块化算法设计[3]

        正如上节成果中所述,AI在认知算法建模中已获得了部分研究成果,但这些工作其实只借鉴了部分浅层机制或原理,并未进行结构、多层次等的模拟。例如,目前对记忆的研究探索尚未涉及到脑区的具体功能及脑区间的交互关系;视觉注意计算模型集中在对自下而上的注意机制的建模而自上而下的视觉注意过程研究相对较少;AI算法模型很少包含推理模块,没有考虑数据之间的因果关系等。

        在未来的认知模型研究中,需要基于多尺度脑神经系统数据分析结果对脑信息处理系统进行算法建模,构建类脑多尺度神经网络模型,实现多尺度模拟脑的多模态感知、自主学习与记忆、抉择等智能行为能力。下述研究内容将对认知算法模型的发展至关重要:

  •  多尺度、多脑区协同的认知算法模型:根据脑与神经科学实验数据与运作原理,构建认知算法模型的多尺度(神经元、突触、神经微环路、皮质柱、脑区)计算组件和多脑区协同模型,其中包括类脑的多尺度前馈、反馈、模块化、协同计算模型等;
  • 认知/智能行为的类脑学习机制:多模态协同与联想的自主学习机制,强大的抽象/表征、层次组合的学习机制,概念形成、归纳偏置、交互式学习、环境自适应的机制等;
  • 基于不同认知功能协同实现复杂智能行为的类脑算法模型:通过算法建模构建哺乳动物脑模拟系统,实现具备感知、学习与记忆、知识表示、注意、推理、决策与判断、联想、语言等认知功能及其协同的类脑算法模型。

        人工神经网络源于脑神经的计算,但可惜的是,目前的神经网络设计中并没有充分考虑融合这些自然的生物特性。因此,AI在认知网络及算法领域还有很多的空白,未来还需要研究学者们更深入地从脑机制与原理层面出发,设计更符合通用智能的新型神经网络及算法设计,而该研究方向也是我司可以抢先入手之处。
 

4.2.2 脉冲神经网络

        正如前面章节中所述,当前的AI需要高性能的计算平台且仍不能实现通用AI,部分研究人员将之归因于人工神经网络与生物大脑仍存在的巨大差距。近年来研发的新型第三代神经网络——脉冲神经网络[30],就使用与真实生物机制非常相似的过程来生成脉冲和处理信息。

        不同于人工神经网络中传播连续的模拟信号,SNN通过特定的编码方式将连续的模拟信号转化为离散的脉冲序列,如频率编码、时序编码等,而网络中的神经元以离散脉冲的形式对信息进行处理并传递,是一种能接近仿生机制的神经网络模型。得益于SNN固有的动态表征,该网络在解决复杂的依赖时间的模式识别问题方面具有很大的潜力。

Fig.8 SNN连接与神经元[31] 

        首先介绍一下何为脉冲。生物神经元大部分时间处于静息态,受到刺激时会产生动作电位,呈现一次尖锐的脉冲样电位波动(如Fig.8右图所示)。而SNN中的脉冲指的是发生在时间点上的离散事件,离散脉冲信号的出现频率由表1中模拟各种生物过程的微分方程决定,其中最重要的便是神经元的膜电位Vit,i是神经元的序号,t是相应的时间戳。具体来说,SNN以一组脉冲(脉冲序列)作为输入,输出计算后相应的脉冲序列:

  • 每个神经元都有一个值Vit,当接受到上游神经元的脉冲信号,Vit会根据数学模型而变化。
  • 如果Vit超过某个阈值,则向连接的每个下游神经元发送一个脉冲,而发送后的Vit就会立即下降到平均值以下。
  • 神经元在放电后的短暂时间内对输入信号不响应,Vit会随着时间推移逐渐恢复到平均水平。

        SNN的结构与传统神经网络类,但通常是稀疏连接的,并利用特殊的网络拓扑。以最基础的前馈SNN(Fig.8左图)为例,输入层是将具体问题输入的模拟数据编码转化为各神经元脉冲序列表示的编码层,隐藏层采用脉冲神经元,输出层根据实际任务需要使用传统神经元或是脉冲神经元。神经元间采用多突触连接,其中每条突触上设定不同的延时和可修改的连接权重。

        由于SNN离散脉冲序列不可微,传统的学习算法将不再适用,学者们陆续提出了许多针对性的学习算法,分为无监督学习算法和监督学习算法(Algorithm 1中所示)。前者通过模拟生物神经网络内部的突触重塑规则STDP来训练神经网络,而后者分为梯度下降学习算法、监督STDP学习算法、基于脉冲序列卷积学习算法和针对进化脉冲神经网络的次序学习算法[2]。

Algorithm 1 SNN 监督学习算法
初始化:选择脉冲编码方式 D,初始化神经元模型(微分方程) M,随机生成初始突触权值矩阵W,最大迭代次数 T,最小误 ε
while E > ε and i < T do
    S1 模拟数据编码为脉冲序列:样本模拟数据通过 D 编码为相 应的脉冲序列Sin(t),n =1,...N,输出目标为 Sdm(t),n = 1,...,M
    S2 运行 SNNSin(t)作为 SNN 的输入,根据 M 运行 SNN, 得到实际的输出脉冲序列Som(t),m = 1,...,M
    S3 计算损失并优化权重:计算 Sdm(t)Som(t)误差 E,通过 误差值及学习规则调整 W W +W
    S4 迭代计数:i i+1
end while

        但是,即使设计了上述的学习算法,在实际应用中SNN的主要问题还是训练问题。目前,还没有一种有效的训练方法能够达到比第二代网络更高的性能,且没有一种学习算法是通用的,不同的算法只适用于特定的网络拓扑或神经元模型,导致很难比较不同脉冲神经网络的性能。除此以外,由于需要模拟微分方程,在目前的硬件上模拟SNN需要消耗大量的算力资源。因此,未来下述研究方向将对SNN的进一步发展和应用至关重要:

  • 脉冲编码方式:如何将样本数据合理地转化为脉冲序列才能最大限度地保留原始模拟信息,降低其信息损失;
  • 神经元模型:如何设计并利用数学方程模拟建模不同的神经元运行机制,将复杂的生物过程转化为相应的微分方程;
  • 误差函数:如何度量实际输出脉冲序列和期望输出脉冲序列之间的误差,设计更好的误差函数进行SNN的训练优化;
  • 学习算法:如何设计通用高效的SNN学习算法,扭转当前学习算法针对局限的神经元模型和网络结构的局面;
  • 神经形态硬件:如何设计能支撑庞大SNN网络运行所需的硬件平台及芯片,突破当前SNN的规模限制。

        总而言之,SNN尚处于探索阶段,未形成统一的框架与标准,未来还有很长的一段路要走,而在这过程中我们需要彻底地对大脑神经元模型、传递原理及其学习机制进行建模,从而启发SNN的设计思路和框架设计。

5 挑战与技术前景

        脑活动的新型观测与调控技术:大脑观测与调控是深入了解脑信息的输入、传递、输出机制的重要技术手段,也是认识脑、模拟脑、增强脑的核心技术支撑。虽然核磁共振技术、电极阵列采集与刺激装置、光学/光遗传学成像技术等各种在体的脑神经信息获取与调控手段日趋丰富,但目前的研究依然存在观测模态与调控手段单一、观测信息局部、对脑功能认知缺乏、脑调控与观测无法同步等问题。另外,理论研究发现大脑中还存在着非线性动力学特征分析,更是加大了观测与调控的难度。因此,新型大脑观测手段和同步调控技术将是目前亟待攻克的技术难题。

        脑信息处理与认知的理论模型:虽然神经科学家们对单神经元模型、部分神经环路信息传递原理、初级感知功能机制等已有较清楚的理解,但对大脑全局信息加工过程,尤其是对高级认知功能的认识还非常粗浅,对大脑的认识还不足5%,没有完整的脑谱图可参考。另一方面,人类智能不是一个简单的物理或者数学公式计算的结果,虽有一定的匹配,但是这种匹配结果不是计算最优得到的结果,与在实际中通常把复杂的认知过程分解成多个计算组件组合的处理方式不符。因此,要建立高水平的智能算法模型,必须深入了解大脑信息处理与认知的原理与模式。

        类脑的计算硬件模拟:虽然神经形态计算至今已发展了20余年,但是目前的研究还只是借鉴了脑信息处理最基本单元的基础计算机制,尚未融入不同尺度信息处理单元之间的机制。而基于硬件的类脑计算过程模拟,在类脑器件、芯片和体系结构方面也面临着重重挑战。一方面,CMOS等传统工艺在片上存储密度和功耗等问题上遭遇瓶颈,而新型的纳米器件还存在工艺稳定性差、规模化难等突出问题,类脑器件和材料需要寻求新的技术突破;另一方面,现有的类脑芯片在有限硬件资源、有限能耗的约束下,难以实现大规模神经元的互连集成和脉冲信息高效实时的传输。此外,基于类脑芯片研发的类脑计算机及大型类脑计算系统需要相应的软件环境支撑,包括相对完备的指令集、操作系统、编程语言等,在这方面的研究挑战也是非常巨大的。

        类脑的学习机制与算法:由于人们对于生物脑运作机理的认识不够充分,信息编码和学习方面给予的灵感还非常有限,脑启发的小样本、非监督学习、强容错性等学习能力也都未进行充分发掘。在迈向下一阶段智能系统的过程中,我们需要解决当前人工神经网络在认知上的缺陷,如概念的抽象、自动学习、渐进学习、直觉和遗忘等,而实现基于记忆、推理、在线学习等高级认知能力的道路则更加漫长。另一方面,SNN的研究还处于非常不成熟的阶段,脉冲的编码方式、神经元模型、误差函数的定义均是SNN需要攻克的难点,网络的学习算法面向具体架构而缺乏普适性,该领域整体没有统一的框架与理论支持,还需进一步的探索研究。除此以外,考虑到网络与算法运行环境的动态性与硬件限制,神经网络的安全性和算法的效益比也是我们在部署前需要考虑的重要问题。
 

6 总结

        与生物系统相比,现有人工智能方法依旧存在着显著的不足。向生物学习,开展生物启发的模式识别有望实现人工智能理论与方法的新突破,实现对不同任务的无缝切换、对环境自主适应、对知识凝练抽取等目标。经过长时间的演进,在大数据、超级计算机和脑科学等前沿知识的共同驱动下,受脑科学研究成果启发的类脑智能蓄势待发,逐步形成大数据驱动知识学习、人机协同增强智能、自主智能系统、类脑智能芯片等智能系统平台,标志脑科学与人工智能的发展进入到新阶段,两大领域相互促进、彼此辅助,从而形成一个脑科学与类脑智能技术相互促进的良性循环。

        类脑智能有望在若干特色方向上取得突破,对探索人类的智能本质、提升AI的智能极限、推动社会的智能化水平具有重要的研究价值和宽阔的应用前景。本文简述了类脑智能的三大重要领域方向,从发展的必要性和研究手段角度进行剖析,列举了该领域面临的挑战难题,以此希望帮助人们建立类脑智能的初步概念和框架,引发对该领域的重视和积极探索。
 

参考文献

1 陶建华 and 陈云霁, 类脑计算芯片与类脑智能机器人发展现 状与思考, 中国科学院院刊, 2016, 31, 803–811.
2 程龙 and 刘洋, 脉冲神经网络: 模型, 学习算法与应用, 控制与 决策, 2018, 33, 923–937.
3 余山, 从脑网络到人工智能——类脑计算的机遇与挑战, 科技 导报, 2016, 34, 75–77.
4 W. Levy and O. Steward, Temporal contiguity requirements for long-term associative potentiation/depression in the hippocampus, Neuroscience, 1983, 8, 791–797.
5 H. Markram, J. Lübke, M. Frotscher and B. Sakmann, Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs, Science, 1997, 275, 213–215.
6 施路平, 裴京 and 赵蓉, 面向人工通用智能的类脑计算, 人工 智能, 2020, 6–15.
7 S. B. Furber, D. R. Lester, L. A. Plana, J. D. Garside, E. Painkras, S. Temple and A. D. Brown, Overview of the spinnaker system architecture, IEEE Transactions on Computers, 2012, 62, 2454–2467.
8 P. A. Merolla, J. V. Arthur, R. Alvarez-Icaza, A. S. Cassidy, J. Sawada, F. Akopyan, B. L. Jackson, N. Imam, C. Guo, Y. Nakamura et al., A million spiking-neuron integrated circuit with a scalable communication network and interface, Science, 2014, 345, 668–673.
9 J. Fieres, J. Schemmel and K. Meier, 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence), 2008, pp. 969–976.
10 B. V. Benjamin, P. Gao, E. McQuinn, S. Choudhary, A. R. Chandrasekaran, J.-M. Bussat, R. Alvarez-Icaza, J. V. Arthur, P. A. Merolla and K. Boahen, Neurogrid: A mixedanalog-digital multichip system for large-scale neural simulations, Proceedings of the IEEE, 2014, 102, 699–716.
11 M. Davies, N. Srinivasa, T.-H. Lin, G. Chinya, Y. Cao, S. H. Choday, G. Dimou, P. Joshi, N. Imam, S. Jain et al., Loihi: A neuromorphic manycore processor with on-chip learning, Ieee Micro, 2018, 38, 82–99.
12 J. Pei, L. Deng, S. Song, M. Zhao, Y. Zhang, S. Wu, G. Wang, Z. Zou, Z. Wu, W. He et al., Towards artificial general intelligence with hybrid Tianjic chip architecture, Nature, 2019, 572, 106–111.
13 D. H. Hubel and T. N. Wiesel, Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex, The Journal of physiology, 1962, 160, 106–154.
14 D. L. Yamins and J. J. DiCarlo, Using goal-driven deep learning models to understand sensory cortex, Nature neuroscience, 2016, 19, 356–365.
15 C. Koch and S. Ullman, Matters of intelligence, Springer, 1987, pp. 115–141.
16 T. Moore and M. Zirnsak, Neural mechanisms of selective visual attention, Annual review of psychology, 2017, 68, 47– 72.
17 H. Larochelle and G. E. Hinton, Learning to combine foveal glimpses with a third-order Boltzmann machine, Advances in neural information processing systems, 2010, 23, 1243– 1251.
18 V. Mnih, N. Heess, A. Graves et al., Advances in neural information processing systems, 2014, pp. 2204–2212.
19 R. S. Sutton, A. G. Barto et al., Introduction to reinforcement learning, MIT press Cambridge, 1998, vol. 135.
20 E. Tulving, Episodic memory: From mind to brain, Annual review of psychology, 2002, 53, 1–25.
21 D. Kumaran, D. Hassabis and J. L. McClelland, What learning systems do intelligent agents need? Complementary
learning systems theory updated, Trends in cognitive sciences, 2016, 20, 512–534.
22 V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski et al., Human-level control through deep reinforcement learning, nature, 2015, 518, 529–533.
23 P. S. Goldman-Rakic, Cellular and circuit basis of working memory in prefrontal cortex of nonhuman primates, Progress in brain research, 1991, 85, 325–336.
24 A. Baddeley, Working memory: theories, models, and controversies, Annual review of psychology, 2012, 63, 1–29.
25 J. L. Elman, Finding structure in time, Cognitive science, 1990, 14, 179–211.
26 J. J. Hopfield and D. W. Tank, Computing with neural circuits: A model, Science, 1986, 233, 625–633.
27 S. Hochreiter and J. Schmidhuber, Long short-term memory, Neural computation, 1997, 9, 1735–1780.
28 J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska et al., Overcoming catastrophic forgetting in neural networks, Proceedings of the national academy of sciences, 2017, 114, 3521–3526.
29 G. Zeng, Y. Chen, B. Cui and S. Yu, Continual learning of context-dependent processing in neural networks, Nature Machine Intelligence, 2019, 1, 364–372.
30 S. Ghosh-Dastidar and H. Adeli, Spiking neural networks, International journal of neural systems, 2009, 19, 295–308.
31 S. A. Mohamed, M. Othman and M. H. Afifi, A review on data clustering using spiking neural network (SNN) models, Indones. J. Electr. Eng. Comput. Sci, 2019, 15, 1392–1400.

 

Logo

更多推荐