近日,一项发表于顶级期刊《科学进展》(Science Advances)的《使用脑机接口实时解码全频谱中文》的论文,由复旦大学华山医院、上海微系统与信息技术研究所、上海科技大学等十余家机构的联合团队完成,通讯作者为华山医院吴劲松主任医师和上海微系统所周志涛研究员,以及上海脑虎科技有限公司陶虎研究员。研究团队通过创新技术,首次实现了对中文全音节的高精度实时解码,为失语症患者带来了新的希望。
解码大脑的“语言密码”:
为何中文如此特殊?
脑机接口(BCI)技术旨在通过解读大脑信号帮助瘫痪或失语患者重新沟通。国际上应用脑机接口技术已实现英语、西班牙语等西方语言合成。汉语作为世界上使用人口最多的语言,在听说读写各方面具有特殊性。如何针对汉语言神经编解码机制的特异性实现汉语合成是当前汉语言脑机接口重大挑战。
中文作为典型的声调语言,每个音节的音高变化都会改变词义(如“妈”“麻”“马”“骂”),且汉字以单音节为主,同音字密集(如“家”“加”“佳”均读作“jiā”),这使得解码难度倍增。
研究团队另辟蹊径,放弃了传统的“音素解码”思路,转而将完整音节(如“wo3”对应汉字“我”)作为基本单元。这一选择源于中文的音节数量有限(约418个基础音节),且音节比音素更稳定、更具语义信息。

图说:通过颅内脑电记录大脑对语言(音节+声调)和非语言符号的神经活动,解析大脑不同脑区在“音节识别”“声调识别”等功能上的分工。
实验揭秘:
大脑信号如何“翻译”成句子?
研究团队在一名因癫痫治疗而植入电极的43岁女性参与者脑中,放置了256个微电极组成的高密度柔性脑皮层电图(ECoG)阵列。这些电极如一张“神经传感网”,覆盖了大脑中与语言处理相关的关键区域。实验包含两项任务:

图说. 实时汉语解码脑机接口系统框架和电极贡献度表征
解码流程犹如一场精密的“神经翻译”:
71.2%的音节识别准确率
与实时句子解码
在离线测试中,系统对394个音节的识别准确率中位数达71.2%,声调识别准确率达69.1%,远超随机猜测(0.25%)。研究还发现,即使训练数据量减少,模型仍保持稳定表现,展现了其强健性。
更令人振奋的是,在实时句子解码任务中,仅依靠神经信号时字符准确率为61.5%,加入语言模型后提升至73.1%,通信速率达49.7字符/分钟。参与者成功通过解码系统控制机械臂、驱动数字人 avatar,并与大语言模型互动,准确率最高达78.3%。

应用场景
三类典型应用场景:
未来展望:
从实验室走向病床的“沟通桥梁”
这项研究的核心价值在于为因肌萎缩侧索硬化(ALS)、脑中风等导致失语的患者提供了新的沟通可能。未来,通过优化电极设计(如无线植入)、融合多模态信号(如面部肌肉电信号),系统可更精准地捕捉“内心语音”,甚至解码抽象思维。尽管目前研究仅基于单名参与者,团队已计划开展多中心验证,并探索跨被试的通用解码模型。正如论文所言,这项技术不仅助力恢复语言功能,更可能成为连接人类意识与外部世界的桥梁,让沉默的思维重新发声。
编辑:吴欧
赞一个