近（jìn）日，中国科学院微电子研究所刘（liú）明院士团（tuán）队和复旦大学教授刘琦团队在多模态（tài）神经形态感知研究方面取得进（jìn）展（zhǎn）。

图1生（shēng）物（wù）躯体感觉系（xì）统与人工体躯体感觉系统（tǒng），a为人手感知杯（bēi）子的温度、重量（liàng）和水杯形状（zhuàng）的示（shì）意图；b为由MFSN阵列（liè）和SNN分类器（qì）组成的人工躯体（tǐ）感觉（jiào）系（xì）统模（mó）拟触觉（jiào）感知的（de）示意图，图片来自中科院微（wēi）电子所（suǒ）前述团队共同（tóng）研发了一种结（jié）构紧（jǐn）凑（còu）的多模（mó）态（tài）融合感知脉冲神经元(MFSN)阵列，并将其与（yǔ）脉冲神经网络(SNN)结合，构建（jiàn）了一种人工多模（mó）态感知系统。该成果使构建高效的多模（mó）态脉冲感知系统成为（wéi）可（kě）能，为发展（zhǎn）高智（zhì）能机器人技术（shù）提（tí）供了新思（sī）路，并（bìng）发表在国际材料领域（yù）期刊《先（xiān）进材料》(Advanced Materials)上。

图片来自《先进（jìn）材料》(Advanced Materials)人类躯体（tǐ）感受（shòu）系（xì）统（tǒng）中（zhōng）的多模态（tài）感（gǎn）知可帮助人（rén）们（men）获得更全面的（de）物（wù）体（tǐ）属性，并（bìng）对物体（tǐ）的状（zhuàng）态做出（chū）准（zhǔn）确判断，尤其是不同受（shòu）体（tǐ）的感觉（jiào）信号在一定条件下可（kě）被神经（jīng）元整合，并发送到大脑（nǎo）皮层（céng）作进一步处理（图（tú）1a）。与单模态感知相比，多模态（tài）融（róng）合（hé）感知在评（píng）估（gū）物体属性和（hé）提高物体识别精度方（fāng）面（miàn）具（jù）有明显优势。在传统的人工感知系统中，多（duō）模态信息的处（chù）理多采用串行计算（suàn）架构，传感信号需转换为数字模式才能被处理器处理，产生较大功耗和通信带宽开销。

此外，传（chuán）统半导体技术在脉（mò）冲域构建多模态感知系统方面，还面临着器件集成和电路复杂（zá）性（xìng）方面（miàn）的挑战。因（yīn）此，迫切需要开发（fā）更高效（xiào）的多模态融合感知硬（yìng）件（jiàn）方案。生物感（gǎn）知系统（tǒng）具有并行分布式感官信息（xī）处理、低能耗、高容错（cuò）性等特点，显（xiǎn）示出克服（fú）传统困（kùn）境的重（chóng）要潜力。

此次，中科院微电子所刘明团队和复（fù）旦大学刘琦团（tuán）队研发了结（jié）构紧凑的多（duō）模态（tài）融合感知（zhī）脉（mò）冲神经（jīng）元(MFSN)阵（zhèn）列，该阵列（liè）由异质集成的（de）压力（lì）传感（gǎn）器和NbOx忆阻器构（gòu）成（chéng）（图1b）。其中，压力（lì）传（chuán）感器用来（lái）感知（zhī）压力（lì），NbOx忆阻器用（yòng）来产生（shēng）脉冲输出并感知温（wēn）度变化。当压力和温度（dù）两（liǎng）种激励同时作用于MFSN时，多模（mó）态（tài）的模拟感觉信（xìn）息可以融合为（wéi）一个（gè）脉（mò）冲序列，显示（shì）出优异（yì）的数据压缩和脉（mò）冲转换（huàn）能（néng）力。

此（cǐ）外，研究人员通过（guò）解耦输（shū）出脉冲的频（pín）率和振幅，还（hái）可从融（róng）合信号中获得独立（lì）的（de）压力和温度信息，支持了神经元对于单模态信息的保（bǎo）真度和多模态感知能力。团队进一（yī）步将MFSN阵列（liè）与脉冲神（shén）经网络结（jié）合，构建（jiàn）了（le）一种（zhǒng）人（rén）工多（duō）模态感知系统，成功模拟（nǐ）了人体躯体感觉系统中的多模态信息（温度和压力（lì））感知和多模态物体（即不（bú）同温度、重（chóng）量和形状的（de）物体）的分类能力。

前述成（chéng）果有助于在未来进一步（bù）构建高效的多（duō）模态脉（mò）冲感知系统，并（bìng）为发展高智能（néng）机（jī）器人技术提供新思路。