近日，中（zhōng）国科（kē）学院微电子研究所（suǒ）刘明院士团队和（hé）复旦大学教授刘琦（qí）团队在多模（mó）态神（shén）经形态感知研究方面取得进展（zhǎn）。

图1生物躯体感觉系统与人工体躯体感觉系统（tǒng），a为（wéi）人手感知杯子（zǐ）的温度、重量和水杯（bēi）形状的示（shì）意图；b为由MFSN阵列和SNN分类（lèi）器组成的人工躯（qū）体感觉（jiào）系统模拟（nǐ）触（chù）觉（jiào）感知的示意图（tú），图片来自中科院微电子所前（qián）述团队共同研发了一（yī）种结（jié）构紧凑的多模态融合感（gǎn）知脉冲神经元(MFSN)阵（zhèn）列，并（bìng）将其与脉冲神经网络(SNN)结合（hé），构建（jiàn）了一种人工（gōng）多模态感（gǎn）知系统。该成果使构建高效的（de）多模态脉冲感（gǎn）知系统成为（wéi）可（kě）能，为（wéi）发展高智能机器人技术提供了新思路，并发表在国际材（cái）料领域期刊（kān）《先进材料》(Advanced Materials)上。

图片来自（zì）《先（xiān）进材料》(Advanced Materials)人类躯体感受系统中的多模态感知可帮助人（rén）们获得更全面的物（wù）体属性，并对物体的（de）状（zhuàng）态做出准确判断，尤其是不同受体的感觉信号在一定条件下可被神经（jīng）元（yuán）整合（hé），并发送到大脑皮（pí）层作进一（yī）步处理（图1a）。与单（dān）模态（tài）感（gǎn）知相（xiàng）比（bǐ），多模态融合感（gǎn）知在（zài）评估（gū）物体属性和提高物（wù）体（tǐ）识别精度方面具（jù）有（yǒu）明（míng）显优势。在传统的（de）人（rén）工感知系（xì）统中（zhōng），多模态（tài）信（xìn）息的处理（lǐ）多采（cǎi）用串行计算架构，传（chuán）感信号需转换（huàn）为数字（zì）模式才能被处理器处理，产生较（jiào）大功耗和通信带宽开销（xiāo）。

此外，传统（tǒng）半导体技术在脉冲（chōng）域构（gòu）建多模（mó）态感知系统（tǒng）方面，还面临（lín）着器件集成和电（diàn）路复杂性（xìng）方面的挑战。因此（cǐ），迫（pò）切需要（yào）开发更高效的多模态融合感知硬件方（fāng）案（àn）。生物感知系统具（jù）有并行分布式感官（guān）信息处理、低能耗、高（gāo）容错（cuò）性等特点，显示出克服传统困（kùn）境的重要（yào）潜力。

此次（cì），中科院微电（diàn）子所刘（liú）明团队和复旦（dàn）大学刘琦团队研发了结构紧（jǐn）凑的（de）多模态融（róng）合感知脉（mò）冲（chōng）神（shén）经元（yuán）(MFSN)阵列，该（gāi）阵（zhèn）列（liè）由异（yì）质集成的压力传感器和NbOx忆（yì）阻器构成（图1b）。其中，压力（lì）传感器用来感知压力，NbOx忆阻器（qì）用（yòng）来产生脉冲输出并感知温度（dù）变（biàn）化。当压力和（hé）温度两种激励（lì）同时作用于（yú）MFSN时，多模态的模拟感觉信息（xī）可以融合（hé）为一个脉冲序（xù）列，显示出优（yōu）异（yì）的数据（jù）压缩和脉冲转换能（néng）力。

此外，研究（jiū）人员通（tōng）过解（jiě）耦（ǒu）输出脉冲（chōng）的频率和振幅，还可从（cóng）融合（hé）信号（hào）中获得独立的压力和（hé）温度信息，支持了神经元对（duì）于单模态信息的（de）保真（zhēn）度和多（duō）模态感知能力。团（tuán）队进一步将MFSN阵（zhèn）列与脉（mò）冲神经网络结合，构（gòu）建了一种人工多模态感知系（xì）统，成功（gōng）模拟（nǐ）了（le）人体躯体感觉系统中的多模态（tài）信息（温（wēn）度和压力）感知和（hé）多模态（tài）物体（即不同（tóng）温（wēn）度（dù）、重量和形状的（de）物体）的（de）分（fèn）类（lèi）能力。

前述（shù）成果有（yǒu）助于在未来（lái）进一（yī）步构建（jiàn）高（gāo）效的多模态（tài）脉冲感（gǎn）知（zhī）系统，并为发展高智能机器人技（jì）术提供（gòng）新思（sī）路。