基于异步芯片的多模态神经生理信号采集技术

朱立贤，田福泽，董群喜，赵庆林，何安平，郑炜豪，胡斌; Zhu Lixian; Tian Fuze; Dong Qunxi; Zhao Qinglin; He Anping; Zheng Weihao; Hu Bin

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于异步芯片的多模态神经生理信号采集技术 PDF

- ORCID：
朱立贤 ¹
- ORCID：
田福泽 ²
✉
- ORCID：
董群喜 ¹
✉
- ORCID：
赵庆林 ²
✉
- ORCID：
何安平 ²
✉
- ORCID：
郑炜豪 ²
✉
- ORCID：
胡斌 ¹
✉

1. 北京理工大学医学技术学院，北京 100081； 2. 兰州大学信息科学与工程学院，兰州 730000

中图分类号： TN3

最近更新：2022-08-09

DOI：10.16337/j.1004⁃9037.2022.04.013

摘要

心理生理计算目前主要基于同步芯片的神经生理信号采集技术进行分析研究，而人体神经生理活动表征具有异步属性，同步采集技术无法精准、实时和高效地刻画人体神经生理信号活动规律。如何低功耗、低冗余、实时精准地采集异步多模态神经生理信号成为心理生理计算首要解决的难题。针对这一难题，本文以研究微观神经生理活动规律和宏观心理生理活动为目的，解决异步多模态生理信息采集方案和相匹配的被动生理信号传感技术的设计难点，设计研发了首款异步生理信号处理芯片，该芯片具备低功耗、高精度时序、高性能计算和抗干扰的特点。最后展望了该芯片在脑科学和类脑计算领域的应用前景。

关键词

心理生理计算; 异步多模态; 生理信号处理芯片; 被动生理信号传感器

引言

心理活动与日常的精神卫生健康状况息息相关，但由于心理活动具有内隐性及主观性，借由心理量表问询，存在耗时长和主观回避风险大等局限^［

1］，如何科学地描述和认识心理活动是国际研究热点之一。心理活动的媒介是人体的神经生理表征。近年来科研和临床专家藉由多模态神经生理测评技术方法对神经生理表征信息进行识别-采集编码-存储-提取-分析，逐渐形成了心理生理计算研究方向^{［参考文献 2

百度学术}2］，以达到利用客观生理表征对心理活动识别量化的目的。多导生理仪是目前科研和临床上普遍使用的神经生理信号测量工具，它可以同步记录脑电（Electroencephalogram，EEG）、心电（Electrocardiogram，ECG）、肌电（Electromyogram，EMG）、呼吸（Res piration，RSP）等多模态生理信号，已经广泛应用于认知行为学、应激情绪反应、睡眠障碍等研究中^{［参考文献 3‑5}3‑5］。但同步多导生理仪存在以下局限：（1）大脑的神经生理反应具有异步自主触发属性^{［参考文献 6

百度学术}6］，同步软硬件体系架构下多导生理仪信息采集方式效率低、数据冗余，不具有实时、并发的多模态信息处理功能；（2）同步多导生理仪记录的多模态神经生理信号发生次序和发展过程需要后验分析估计，其时序还原度还有待提高；（3）同步多导生理仪采用全局高速时钟导致采集系统功耗大，抗干扰能力差，阻碍了技术设备普适化发展方向。而随着人们对心理生理学的认识和心理健康日常化监测需求，普适情境下心理生理计算研究正在成为新趋势、新热点。

异步芯片具有“事件触发”和“无全局时钟控制”的特性，因此基于异步芯片的多模态信息采集技术可以有效地解决上述问题。但是由于异步芯片设计缺乏成熟的工程范式，且同步芯片已然在主流应用中占据了绝对优势。在过去的20年，异步芯片发展较为缓慢。随着近10年新兴人工智能技术的发展，为了模拟大脑神经元高效的信息处理模式，国内外一些科研机构开始研究基于异步方式的神经形态类脑芯片。2011年，IBM首先研发出带有神经元、突触和轴突的芯片，但该芯片的单核运算能力只相当于虫脑的水平。2014年，IBM研发出了具有4 096个内核，100万个“神经元”和2.56亿个“突触”的TrueNorth芯片，其功耗仅有65 mW^［

7］。斯坦福大学在2014年研发出的NeuroGrid芯片的运算速度是当时电脑的9 000倍^{［参考文献 8

百度学术}8］。国内浙江大学研发了模数混合的Darwin芯片，该芯片由8个物理神经元构成，实验证明其可用于数字识别和脑机接口技术^{［参考文献 9

百度学术}9］。2018年英尔特发布了Loihi芯片^{［参考文献 10

百度学术}10］，并于2020年成功在Loihi芯片上实现了人工嗅觉的在线学习和记忆能力^{［参考文献 11

百度学术}11］。之后，英特尔又在2021年发布了具有128个神经形态核心，100万个人工神经元的Loihi2芯片，其运算速度是上一代的10倍^{［参考文献 12

百度学术}12］。2020年，苏黎世联邦理工大学研发了用于检测高频振荡脑电信号的异步芯片SYNAP‑SE2，该芯片的功耗仅为614.3 μW，可实时进行大脑特征的分析和监测^{［参考文献 13

百度学术}13］。近几年国内外著名科研机构提出的类脑芯片，大多是为了提高算力和部署人工智能算法，仅上述提到的Darwin和SYNAP‑SE2芯片用于生理电信号分析，但只局限于脑机接口或者特定脑电特征的分析，目前无适用于心理生理计算的类脑芯片。

本文将根据神经生理活动的异步自主触发属性和临床科研的普适化场景需求，初步实现芯片的核心设计理念——首个适用于心理生理计算的异步生理信号处理芯片（Physiological process unit， PPU）。结合侵入或非侵入被动触发传感器的研发，PPU将具备多模态生理传感器异步被动触发和信号采集功能，实现低功耗、低冗余、实时精准地响应并记录不同模态或不同区域的神经生理信号发生次序和发展过程，更直接地描述心理活动和神经生理表征的因果联动。

1 多模态生理信息采集技术

1.1　多模态神经生理信号特点

（1）异步性

从生物学角度讲，大脑神经生理活动是异步的^［

14］。大脑由数以亿计的神经元和突触构成，这些神经元互相连接构成功能复杂的脑网络。神经元是大脑处理信息的最基本单元^{［参考文献 15

百度学术}15］，其在处理信息时会产生动作电位，即脉冲信号^{［参考文献 16

百度学术}16］。不同神经元之间传输信息的媒介是一个叫做突触的结构，神经元产生的脉冲信号通过突触逐级向相邻的神经元传播。正常情况下，大脑神经元活动处于动态平衡状态，神经元不会对外产生脉冲信号^{［参考文献 6

百度学术}6］。当大脑接收到某种信息（如：听觉、视觉）时会自主触发感知神经元产生电脉冲信号，脉冲信息通过突触传输至周边的反馈神经元，从而完成信息处理。这些认知过程无既定次序，因此具有异步属性。

（2）微弱性

人体生理电信号由人体组织活动或者传输信号而产生，如脑电信号是大脑神经元活动发出的生理电信号，这些生理电信号聚集在一起，在大脑皮层形成电位差，由于这些信号本身所带电荷量少，再加上传输过程的损耗，正常脑电信号的幅值在200 μV以内。肌电是由肌肉收缩、扩展时产生的微弱电流，其幅值通常在100 mV以内。心电是心脏活动时，其不同部位的细胞产生不同的生物电势而形成的，其典型幅值为1 mV。生理电信号的幅值为μV或mV量级，属于微弱小信号，采集过程易受噪声干扰。

1.2　基于同步CPU的神经生理信号采集

1.2.1　同步电路原理

图1展示了主流的同步架构数字芯片的基本电路图，它的数据传输与处理依靠全局时钟CLK信号来控制，其芯片中时序模块的数据传输与处理发生在时钟边沿。电路的速率取决于时钟路径的最大延迟，导致电路工作效率低。高速时钟信号的能量集中易产生高频干扰噪声，并且基于同步电路的芯片设计过程中存在时钟同步和低功耗的难点。为了解决这一难点，现有芯片设计过程中增加了复杂的时钟树网络，而时钟树网络同样存在功耗问题。

图1 同步电路

Fig.1 Synchronous circuit schematic

1.2.2　同步采集方案

图2展示了基于同步芯片的神经生理信号采集方案^［

17］。采集方案主要包含模拟前端、信号调理电路、模数转换器（Analog to digital converter， ADC）电路、主控制器CPU和PC端应用软件。神经生理信号经过侵入/非侵入电极传输至模拟前端和信号调理电路完成阻抗匹配以及对神经生理信号的放大和滤波后，在CPU的控制下被ADC采样后通过蓝牙等通信手段传输到PC端应用软件，完成神经生理信号的采集。虽然基于同步芯片的采集方案，不论是芯片设计流程还是采集方案都比较成熟。但是，整个采集过程耗时较长且每个通道同步采集，无法实时、并发监测神经生理信号的发生次序和发展过程，不能对大脑不同区域的异步活动作出精确的刻画和解释。并且，同步芯片存在功耗大的缺陷，不适用侵入式采集方案使用。

图2 经典的神经生理信号采集方案

Fig.2 Classical neurophysiological signal acquisition method

1.3　基于PPU的异步多模态生理信息采集

1.3.1　异步采集理论

传统心理生理学研究认为，人的心理生理健康与自主神经系统（Autonomic nervous system，ANS）密切相关，且研究过程大多以量表数据为依据。随着多模态生理信息技术迅速发展，心理生理学的研究从ANS转向了以大脑为中心的中枢神经系统（Central nervous system，CNS），大量的实验表明，大脑会对人体的生理心理活动、ANS和内分泌等系统活动产生重要影响^［

18］。因此，传统的基于量表数据的心理生理学研究正在向基于客观、多维度的多模态生理信息数据的研究转变，而“心理生理计算”正是面向数据驱动的心理生理活动研究范式^{［参考文献 19

百度学术}19］。该方法将计算建模分析、实验设计和生理数据测量有机地结合在一起，通过假设驱动和数据驱动的方法，对人体复杂的心理生理映射关系进行客观、实时和精准的解释和量化。在心理生理计算的建模分析方法中，心理变量不能直接测量^{［参考文献 20

百度学术}20］，需要通过生理信号去映射心理变量^{［参考文献 21

百度学术}21］这是一个典型的数学问题——心理生理反问题，即有

\underset{x}{M i n} \sum_{m = 1}^{M} {‖A_{m} (x) - y_{m}‖}^{2} + α \cdot R (x)

（1）

式中： $m$ 为多模态模态信号； $A_{m} (x)$ 为从心理变量 $x$ 到生理信号的未知映射； $y$ 为已知的生理测量信号； $α$ 和 $R (x)$ 分别为权重和正则化项。式（1）的目标是构建估计优化的心理变量和 $A_{m} (x)$ 的相应反函数，即 $A_{m}^{- 1} (y_{m})$ 。如果构造了 $A_{m}^{- 1} (\cdot)$ ，可以自然地推断出心理变量。反函数构建过程中，数据采集是构建心理生理模型以解决心理生理反问题的关键步骤。在数据采集阶段，应保证采集到的多模态生理信号 $y$ 能够表示相同的心理语义，以准确评估心理状态。获取生理信号的次序和质量决定了是否能够通过数据驱动的方法有效地从生理信号推断出映射 $A^{- 1}$ 。但是，目前生理信号的采集多基于同步芯片体系实现，而人体心理生理活动具有异步属性^［

22］，同步采集方案无法精准地捕捉生理信号的发生-发展时序，已然成为“心理生理计算反问题”的重大瓶颈。针对这一瓶颈，本文以研究人体的神经生理活动异步属性为出发点，首次提出并设计了异步架构PPU，用于多模态神经生理数据异步采集和处理，为“心理生理计算”中数据测量提供了新的技术手段，同时也有效地解决了“心理生理计算”发展瓶颈与同步电路的功耗大、效率低和抗干扰能力弱之间的矛盾。

1.3.2　异步电路原理

图3是异步电路示意图。同步电路和异步电路都是以二进制形式传输数据，二者本质的区别在于异步电路没有全局时钟，其不同模块间通信通过握手协议来完成。从“同步”的角度来说，握手信号类似于门控时钟，它们不同相，寄存器仅在需要时才会触发握手信号。异步电路则可认为是1个静态的数据流结构，只有在1个模块触发工作了，数据才会传输到另外1个数据流^［

23］。因此，异步电路由于没有全局时钟，其具有低功耗、抗干扰和高速率的优势。异步电路中握手协议的实现需要更多的逻辑资源，同时电路的设计会占用更多的面积资源。但是，在实际的芯片设计中，面积资源、功耗和高性能三者是可以有效平衡的。

图3 异步电路原理示意图

Fig.3 Asynchronous circuit schematic

1.3.3　多模态生理信息异步采集方案

图4展示了基于异步架构PPU的多模态生理信息采集方案，其以事件触发机制代替时钟电路，通过PPU中的“被动生理信号传感器”连续感知多模态生理信号的变化生成事件流，进而记录不同生理信号的时序规律，最后通过异步生理计算矩阵推演生理信号之间的协同工作机理。

图4 异步多模态生理信息采集和处理方案

Fig.4 Asynchronous multimodal physiological information acquisition and processing scheme

本文方案具体原理如下：多模态生理信号（模块①）可感知区的原始神经生理信号通过生理信号感知总线进入PPU（模块②）中的被动生理传感器。被动生理传感器由多模态生理信号感知电路、生理信号调理电路和被动触发秘钥3部分组成。多模态生理信号感知电路实现对神经生理信号的阻抗匹配和采集传输，生理信号调理电路实现对微弱原始神经生理信号的放大和去噪，“被动触发秘钥”实现对特定生理心理事件的敏锐感应。如前额叶Fp1、Fpz和Fp2电极点由于抑郁障碍人群受到“负性”音频刺激而产生特异性EEG信号，该信号由“被动触发秘钥”所捕获，从而产生针对该EEG信号有效采集的触发脉冲，进而激活生理信号采集电路（模块③）中的特定ADC通道和信号预处理电路。此时EEG信号经过预处理电路进行阻抗匹配、放大和滤波后被所处通道的ADC采样。离散化的EEG序列通过生理数据传输总线进入PPU中的异步生理计算矩阵（模块④），完成数字信号处理并精准提取有效特征向量。图4中，ADC阵列控制总线用于设置ADC的采样率，通用同步/异步串行接收/发送器（Universal synchronous/asynchronous receiver/transmitter， USART）控制接口用于PPU控制蓝牙等通信模块与主机应用软件进行人机交互，RISC‑V核为PPU的控制核心，下发控制指令，并调度PPU内部以及PPU与外设间的数据传输。

被动生理传感器中生理信号调理电路有效避免了原始神经生理信号由于功率和信噪比低导致“被动触发秘钥”灵敏特异性下降的问题。被动生理传感器中“被动触发秘钥”的特异敏感性由对特定生理事件敏感的精密电路实现，此精密电路从PPU底层完成对原始生理信号的去噪、特征提取和分类。设计出具有特定生理事件敏感性的“被动触发秘钥”是PPU设计的重点和难点。

2 异步生理计算芯片

2.1　异步设计方法

异步设计方法中设计流程、工具，时序分析与验证是3个核心的步骤。目前没有针对异步电路设计的专用电子设计自动化（Electronic design automation，EDA）工具。本文所提的PPU采用经典的自顶向下的设计方法，使用现有的同步设计工具进行异步电路设计^［

24］。同时采用ARCtimer进行时序分析和验证，ARCtimer是一个用于建模、模块生成、验证和实施时序约束的框架^{［参考文献 25

百度学术}25］，其中时序约束保证了异步电路握手协议规范。现有的异步电路设计方法中有2相握手协议和4相握手协议。理想状态下，2相握手协议快于4相协议，但是2相协议的事件响应电路实现过程复杂，因此本文设计的PPU采用4相握手协议^{［参考文献 26

百度学术}26］。数据编码方式根据握手协议选用单轨编码方式，单轨编码又称捆绑数据编码，其数据传输示意图如图5（a）所示。单轨编码协议中，一根数据线表示1 bit信息，如图5（b）所示，数据的传输需要额外的请求和应答信号来协同完成。并且在数据传输过程中，数据信号必须在请求信号到来之前准备就绪，数据才可正确传输。具体的4相捆绑数据传输过程为：（1）发送方发出数据并将请求设置为高，（2）接收方收到数据并设置高电平确认，（3）发送方通过低请求进行响应（此时数据不再保证有效），（4）接收方通过低电平确认。此时，发送方可以启动下一个通信周期。

图5 握手协议

Fig.5 The handshake protocol

2.2　异步芯片架构

本文提出的PPU设计理念受神经生理活动的异步属性启发。图6给出了异步PPU的架构图，PPU的一个重要特点为多核结构，包括64个脉冲神经网络（Spiking neural network， SNN）核，1个包含多个可定制“被动触发秘钥”的被动生理信号传感器，1个高性能、低功耗RISC‑V核和多种外设通信接口。

图6 PPU架构图

Fig.6 PPU architecture

2.2.1　脉冲神经网络

SNN是一个以神经元为基本处理单元的运算模型，是图2生理计算矩阵的基本构成单元。图7展示了64个SNN核的结构图，单个SNN核由神经元和突触核构成。神经元用于处理单个或者多个脉冲序列，每个SNN都有分布式MESH路由控制器，当外部输入的脉冲序列达到神经元的阈值，触发神经元，路由器根据脉冲信息解析触发地址，从而控制启动突触核运算功能。每个突触核由片上网络（Network on chip，NOC）、CPU和计算槽（Slot）构成。NOC是一种新型的片上互联技术，它具有可扩展性强、低功耗、通信效率高和数据安全性好等优点^［

27］，使用NOC集成CPU和Slot模块使其高效协同完成数据的运算。在单节点运算过程中，数据的接收和发送相互独立，CPU负责计算，Slot负责与NOC通信，Slot和CPU共用RAM，用于接收和发送数据。

图7 SNN结构图

Fig.7 SNN architecture

2.2.2　被动生理信号传感器

图8虚线框内容展示了被动生理信号传感器的结构图。传感器由3部分构成：生理电信号感知电路，生理电信号调理电路和 “被动秘钥触发”。其中生理电信号感知和调理电路用于信号预处理。由于原始的生理电信号非常微弱，通常只有μV或mV量级，因此生理电信号感知电路集成了低噪声的差分运算放大器，实现对原始生理电信号放大功能。同时，在感知电路的前端加入阻抗匹配电路和低通滤波电路，以保证整个传感器的灵敏度。“被动秘钥触发”是整个传感器最核心的部分，采用片上神经信号处理方法，针对不同生理电信号特性设计不同的神经特征检测模块。如检测尖峰信号，特定频带功率和多个神经脉冲等信息，从而实现个性化的“被动秘钥触发”功能。此外，还设计一个脉冲产生器，用于产生生理电信号采集和处理的脉冲标志。在实际应用场景中，生物电极与传感器直接连接，信号首先进入感知调理电路进行预处理，使得生理电信号的电平幅值达到“被动秘钥”可触发的范围，“被动触发秘钥”模块在检测到神经特征符合预设值时，触发脉冲电路产生脉冲信号（这一过程被定义一次事件）。SNN在收到脉冲信息时，记录触发时间，同时脉冲信息控制外部ADC，启动神经生理信息采集功能。特别地，“被动触发秘钥”中的特征阈值可通过PPU配套软件设置，从而实现针对不同生理电信号精准触发的目的，这也是图2展示的个性化“被动触发秘钥”的关键。此外，PPU同步控制8个生物传感器的复位功能，在实际应用中通过复位指示清空脉冲信息等指示信息，从而实现“同步复位异步采集”的效果。

图8 被动生理信号传感器框架

Fig.8 Passive physiological signal sensors

2.2.3　RISC‑V核及外设接口

PPU内部集成1个32位的低功耗、高性能RISC‑V核，主要用于SNN核信息和外设通信的控制和调度。PPU外部具有丰富的外设接口，包括USART，串行外设接口（Serial peripheral interface，SPI），集成电路总线（Inter‑integrated circuit， IIC）等接口。RISC‑V为外设接口提供时钟和数据，并同时接收外设输入数据。此外，由于每个SNN可以独立地处理生理电信号，SNN处理后的数据支持通过RISC‑V和外设接口传输至外部处理器。

2.2.4　芯片性能

图9为芯片布局布线后的版图，其制作节点采用40 nm工艺，芯片面积570 mm，神经元个数1.6×10⁴个，突触4×10⁶个。本文对PPU的性能进行了计算论证分析，表1为异步PPU和主流的国内类脑芯片的性能对比，分析结果表明本文研发的PPU芯片静态功耗仅为0.573 W，动态功耗5.6 W，远低于同类型的芯片。以整型算力（Int8）为例，PPU在没有单指令多数据流（Single instruction multiple data，SIMD）的场景下，算力为160 GOPS（Giga operations per second），而在SIMD场景下，算力可达40 TOPS（Tera operations per second），尽管最高算力比昇腾、昆仑等芯片弱，但是足够处理多模态神经生理信号，并且在SIMD场景下，其算力功耗比远大于同类型芯片。

图9 PPU布局布线后版图

Fig.9 Layout of PPU placement & routing

表1 类脑芯片性能对比

Table 1 Comparison of brain‑inspired chip performance

研究单位	芯片名称	功耗/W	FP16算力/ FLOPS	算力功耗比（FP16）	Int8算力/ TOPS	算力功耗比（Int8）	制程节点/nm
华为	昇腾	310	256	0.82 T/W	512	1.65 T/W	7
百度	昆仑	150			260	1.73 T/W	14
阿里巴巴	含光	250					12
寒武纪	思元	150			128	0.86 T/W	14
Google	TPU	200	100	0.5 T/W			7
Nvida	GPU（A10）	400	312	0.78 T/W			7
灵汐	KA200	15	16	1.1 T/W	32	2.2 T/W	12
北京理工大学、兰州大学	PPU	0.57~5.6			无SIMD：0.16 SIMD：40	无SIMD：28.57~279 G/W SMID：7.14~70.18 T/W	40

2.3　异步生理计算芯片特性

异步生理计算芯片由于其独特的芯片架构而具有4个特色优势：低功耗、高精度时序标注、抗干扰和高性能计算。

（1）低功耗

从芯片的工作模态分析，异步生理计算芯片的低功耗特性主要体现在两个方面：①相对于冯·诺依曼架构的同步芯片，PPU在架构上没有统一的全局时钟，这是二者最大的不同点之一。在经典的同步芯片中，高速时钟导致芯片产生高功耗，而PPU因没有全局时钟而具有低功耗特点。②在实际的应用场景中，由于SNN具有事件驱动的异步特性，当PPU没有触发脉冲时，SNN处于休眠状态；当有触发脉冲时，PPU可使用稀疏脉冲传递信息，使生理计算矩阵在极低功耗下实现各种复杂的类脑计算^［

28］。PPU的低功耗特性结合柔性电子材料，可用于非侵入/侵入式多模态可穿戴设备。

（2）高精度时序

多模态生理数据表征是认知神经科学领域的热门研究话题，由图1可知，经典的多模态生理电信号采集采用同步采集的方案，其无法实时精准标注不同生理活动区域信号激活和延续的时间，成为该领域发展的瓶颈。而本文提出的PPU采用先进的异步架构设计和事件自主触发机制，其集成的被动生理传感器能够灵敏地感知不同区域神经生理活动的变化趋势，并且针对不同模态的神经生理信号设置不同的触发密匙，从而精准地记录下神经生理活动时序关系，为解释心理活动和生理信号的因果联动提供了新方法。因此PPU在认知神经科学领域的应用具有实时精准的时序标注能力。

（3）抗干扰

高速时钟会形成较强的电磁辐射，且同步高速时钟在工作时对时序约束要求高，严格的时序约束会减少电路的建立时间和保持时间裕量，导致整个电路抗干扰能力差。而基于异步架构的PPU内部无全局高速时钟，其时序约束要求低，电路间产生的电磁干扰弱。同时PPU可以适应外部电磁干扰、芯片高温运行、时钟源温漂大等状态，可有效避免芯片的时序紊乱和系统宕机等。

（4）高性能计算

异步生理计算芯片的高性能特性主要体现在3个方面：①芯片中由SNN核构成的生理计算矩阵能够实现对神经生理信号的高速编解码、数字信号处理和特征向量提取。②被动生理信号传感器有效地避免了冗余数据的采集，PPU可实时高效地采集和处理心理生理活动诱发出的多模态神经生理信号。③SNN核中集成的Slot和RAM单元可保证复杂的算法在异步芯片中部署，如类脑计算、生物电编解码和情感计算模型等算法，有效避免了同步计算体系架构出现计算单元等待存取单元的“内存墙”问题。综上，PPU芯片在脑机接口和情感计算等应用领域具有高性能计算特性。

3 异步生理计算芯片应用

脑科学被称为自然科学的“终极疆域“，包含3大范畴：认识脑、保护脑和模拟脑。在这3大领域，目前国内外科研机构已然开展了许多前沿的研究探索，比如：马斯克旗下的公司Neuralink公司，通过植入芯片对动物脑的神经信号进行读取^［

29］，并取得重大成果。同时Neuralink正在研究“缝纫机”式的超宽带、高速率脑机接口技术。加州大学的研究人员设计了一种大脑阵列传感器，以破记录的细节记录了大脑表层脑电信号^{［参考文献 30

百度学术}30］。这些研究成果都需要高性能、低功耗的生理信号采集芯片为实验工具。本文研究的PPU具备这种优势，具体如下：

（1）认识脑方面。本文提出的PPU基于被动式异步采集和处理框架，可以实时、客观、精准、低功耗地记录多模态神经生理活动发生次序、发展过程，将为大脑认知、情绪、意识等心理机制研究提供科学的测量方法。PPU适配的高灵敏度被动生理信号传感器将精准感知多模态神经生理信号的异步关联属性，为科学解析认知行为的基本机制（如：如何控制运动和情感、如何感受和产生感觉意识以及如何学习和记忆）提供了测量手段。

（2）保护脑方面。面向抑郁、老年痴呆和自闭等精神-神经障碍疾病，基于本文提出的PPU，可定制化研发普适化、低功耗、低冗余、抗干扰和高性能的多模态生理采集和分析系统，解决传统诊疗方式耗时久、主观性强、难追踪溯源等不足，为精准化识别监测精神、神经疾病风险人群、疗效评估、复发预测和追踪病理轨迹提供可行的测量手段。

（3）模拟脑方面。本文的PPU采集的多模态神经生理信号将更直接地映射到心理活动，将为类脑计算提供算法模型启发，使脑机交互更情感智能化，计算更具低功耗、高性能、抗干扰。通过模拟脑的感知机制，使生物脑的感知能力与机器高性能计算完美结合，促使脑机交互在信息感知、信息处理、决策判断，甚至记忆、意图多个层次相互配合。借助PPU生理计算矩阵，可以设计基于深度学习的互适应脑机接口系统，利用奖惩机制调节大脑活动并通过自适应算法控制反馈系统，建立大脑与机器之间的信息互动，更智能地实现对残障人士机能补偿与功能重建，为老年人或残疾人提供智能与机能增强技术，提高生活质量，具有极其重要的社会意义。

4 结束语

以同步采集模式为主导的多模态神经生理信号采集技术与控制架构存在高功耗、高数据冗余以及不能精准感知多模态神经生理活动发生次序、发展过程等问题，逐渐成为脑科学发展的瓶颈。本文在对异步神经生理信号采集技术和异步芯片架构的分析和论证的基础上，设计研发了首款异步生理计算芯片PPU，解决了低功耗、低冗余，可高性能、实时精准地异步采集和分析多模态神经生理信号的难题，为解决大脑智能与机器智能的协同感知、有效协作、互适应及执行等问题提供了新方法，对推动建立一系列“认识脑”“保护脑”和“模拟脑”的新理论与方法提供了重要的科研和临床价值。

参考文献

Kirk-Smith M. Psychological issues in questionnaire-based research[J]. Market Research Society Journal, 1998, 40(3): 1-12. [百度学术]

胡斌, 张健源, 姚志军. 心理生理计算—一种基于交叉学科的计算模式[J]. 中国计算机学会通讯, 2012, 8(5): 60-65. [百度学术]

Hu Bin, Zhang Jianyuan, Yao Zhijun. Computational psychophysiology—One computational model based on interdisciplinary[J]. Communications of the CCF, 2012, 8(5): 60-65. [百度学术]

BABAYAN A, ERBEY M, KUMRAL D, et al. A mind-brain-body dataset of MRI, EEG, cognition, emotion, and peripheral physiology in young and old adults[J]. Scientific Data, 2019, 6(1): 1-21. [百度学术]

Zhang X, Xu C, Xue W, et al. Emotion recognition based on multichannel physiological signals with comprehensive nonlinear processing[J]. Sensors, 2018, 18(11): 3886. [百度学术]

Guo B, Yang Z, Cheng Y, et al. Respiratory frequency estimation method based on periodic features using UWB radar[C]//Proceedings of 2020 IEEE 3rd International Conference on Electronic Information and Communication Technology (ICEICT). [S.l.]: IEEE, 2020. [百度学术]

Roland P E. Space-time dynamics of membrane currents evolve to shape excitation, spiking, and inhibition in the cortex at small and large scales[J]. Neuron, 2017, 94(5): 934-942. [百度学术]

AKOPYAN F, SAWADA J, CASSIDY A, et al. Truenorth: Design and tool flow of a 65 mW 1 million neuron programmable neurosynaptic chip[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems,2015, 34(10): 1537-1557. [百度学术]

BENJAMIN B V, GAO P, MCQUINN E, et al. Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations[J]. Proceedings of the IEEE, 2014, 102(5): 699-716. [百度学术]

MA D, SHEN J, GU Z, et al. Darwin: A neuromorphic hardware co-processor based on spiking neural networks[J]. Journal of Systems Architecture, 2017,77: 43-51. [百度学术]

DAVIES M, SRINIVASA N, LIN T H, et al. Loihi: A neuromorphic manycore processor with on-chip learning[J]. IEEE Micro, 2018, 38: 82‑99. [百度学术]

Imam N, Cleland TA. Rapid online learning and robust recall in a neuromorphic olfactory circuit[J]. Nature Machine Intelligence, 2020, 2(3): 181-91. [百度学术]

ORCHARD G, FRADY E P, RUBIN D B, et al. Efficient neuromorphic signal processing with Loihi 2[C]//Proceedings of 2021 IEEE Workshop on Signal Processing Systems (SiPS). [S.l.]: IEEE,2021: 254-259. [百度学术]

SHARIFSHAZILEH M, BURELO K, SARNTHEIN J, et al. An electronic neuromorphic system for real-time detection of high frequency oscillations (HFO) in intracranial EEG[J]. Nature Communications, 2021, 12(1): 1-14. [百度学术]

ZEKI S. A massively asynchronous, parallel brain[J]. Philosophical Transactions of the Royal Society B: Biological Sciences, 2015, 370(1668): 20140174. [百度学术]

陈惟昌. 生物神经元网络与人工神经网络[J]. 科技导报, 1991, 9(3): 41-44, 61. [百度学术]

Chen Weichan. Biological neuronic network and artificial neuronetwork[J]. Science & Technology Review, 1991, 9(3): 41-44, 61. [百度学术]

柴玉珍, 张建文, 杨桂通. 神经脉冲波传播形态的研究[J].生物医学工程学杂志, 2008, 25(5): 1184-1185. [百度学术]

Chai Yuzhen, Zhang Jianwen, Yang Guitong. Study on propagation form of nerve impulse waves[J]. Journal of Biomedical Engineering, 2008,25(5): 1184-1185. [百度学术]

于淑月, 李想, 于功敬, 等. 脑机接口技术的发展与展望[J]. 计算机测量与控制, 2019, 27(10): 8. [百度学术]

Yu Shuyue, Li Xiang, Yu Gongjing, et al. Development and prospect of brain computer interface technology[J]. Computer Measurement & Control, 2019, 27(10): 8. [百度学术]

Beissner F,Meissner K, KARL-JÜRGEN B, et al. The autonomic brain: An activation likelihood estimation meta-analysis for central processing of autonomic function[J]. Journal of Neuroscience, 2013, 33(25): 10503-10511. [百度学术]

BIN H, JIN F. Advances in computational psychophysiology[J]. Science, 2015, 350(6256): 114. [百度学术]

ERONEN M I, BRINGMANN L F. The theory crisis in psychology: How to move forward[J]. Perspectives on Psychological Science, 2021, 16(4): 779-788. [百度学术]

BACH D R, CASTEGNETTI G, KORN C W, et al. Psychophysiological modeling: Current state and future directions[J]. Psychophysiology, 2018, 55(11): e13214. [百度学术]

罗冲. 基于异步工作方式的数模混合神经网络芯片关键模块的设计研究[D].杭州:浙江大学, 2018. [百度学术]

Luo Chong. A study on the design of key moudules of asynchronous mixed-signal neuromorphic chip[D]. Hangzhou:Zhejiang University, 2018. [百度学术]

Dennis J B. Data flow computation in control flow and data flow‑concepts of distributed programming, international summer school [M]. Berlin: Springer,1984: 343‑398. [百度学术]

He A, Zhang J, Yu L, et al. How to accelerate FPGA application in an asynchronous way? [C]//Proceedings of the 2019 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. [S.l.]: ACM,2019: 304. [百度学术]

Park H, He A, Roncken M, et al. Modular timing constraints for delay-insensitive systems[J]. Journal of Computer Science and Technology, 2016, 31(1): 77-106. [百度学术]

Martin A J, Nystrom M. Asynchronous techniques for system-on-chip design[J]. Proceedings of the IEEE, 2006, 94(6):1089-1120. [百度学术]

王江峰, 宋庆增, 张静,等. 基于FPGA的NoC仿真器的设计与实现[J]. 现代电子技术, 2018, 41(19): 177-182. [百度学术]

Wang Jiangfeng, Song Qingzeng, Zhang Jing, et al. Design and implementation of NoC simulator based on FPGA[J]. Modern Electronics Technique, 2018, 41(19): 177-182. [百度学术]

魏劲松. 基于忆阻器的脉冲神经网络芯片研究[D].合肥:中国科学技术大学, 2020. [百度学术]

Wei Jinsong. Research on the spiking neural network chip with memristors[D].Hefei: University of Science and Technology of China,2020. [百度学术]

刘昊. 脑机接口技术引发的传播变革研究[D].淮北:淮北师范大学, 2021. [百度学术]

Liu Hao. Research on communication reform caused by brain-computer interface technology[D]. Huaibei:Huaibei Normal University, 2021. [百度学术]

Tchoe Y, Bourhis A M, Cleary D R, et al. Human brain mapping with multithousand-channel PtNRGrids resolves spatiotemporal dynamics[J]. Science Translational Medicine, 2022, 14(628): 1441. [百度学术]

您是本站第访问者

通信地址：南京市御道街29号南京航空航天大学(明故宫校区)

邮编：210016 传真：025-84892742

电话：025-84892742 E-mail：sjcj@nuaa.edu.cn

技术支持：北京勤云科技发展有限公司

基于异步芯片的多模态神经生理信号采集技术 PDF

摘要

关键词

引 言

1 多模态生理信息采集技术

1.1 多模态神经生理信号特点

1.2 基于同步CPU的神经生理信号采集

1.3 基于PPU的异步多模态生理信息采集