大脑植入装置首次让人说话唱歌

一个语言障碍严重的男人，在大脑植入装置的帮助下，说话和唱歌都很流畅。大脑植入物几乎立即将自己的神经活动转化为语言，既能传达自己的语调变化，又能强调自己选择的单词，甚至能让自己哼出三个音高组成的音符。

这个装置叫做脑机接口。(BCI)，它利用人工智能解码参与者试图说话时的脑电活动。该装置是第一个BCI，不仅可以再现一个人的意图，还可以复制自然语言特征。音调、音高、重音等自然语言特征有助于表达意义和情感。

在一项研究中，一种模仿参与者自身声音的合成声音在参与者神经活动发出意图信号后10毫秒内说出了他的话。这项6月11日在《自然》上发表的研究成果标志着早期BCI的重大改进。早期BCI通常在3秒内输出声音，或者只有在用户完全模拟整个句子后才能产生声音。

荷兰马斯特里赫特大学的计算神经科学家ChristianannChristian(Christian) Herff说：“这是一个真实、自发、连续的演讲。

这项研究的参与者是一名45岁的男性。在患有运动神经元疾病-肌萎缩侧索硬化症后，他失去了说话清晰的能力。这种疾病会损害控制肌肉运动的神经，包括说话所需的神经。虽然他仍然可以发音和说话，但他说话很慢，不清楚。

症状出现5年后，他接受了手术，将256个硅电极插入控制运动的大脑区域，每个硅电极长1.5毫米。美国加利福尼亚大学戴维斯分校的神经科学家Maitreeyee Wairagkar和他的同事训练了深度学习算法，每10毫秒捕捉一次他大脑中的信号。他们的系统实时解码了该男子试图发出的声音，而不是他想要表达的具体单词或基本音素——构成口语单词的语音子单位。

“我们并不总是用语言来表达我们的想法。我们有感叹词和其他表达式发音，这些都不在我们的词汇表中。为了实现这一点，我们采用了这种完全不受限制的方法。”Wairagkar解释说。

该团队还根据参与者生病前的采访录音，通过训练人工智能算法，将合成声音个性化，使其听起来像参与者自己的声音。

研究人员要求参与者尝试发出“啊”、“哦”、“嗯”等感叹词，并说出虚构的词语。BCI成功地产生了这些声音，这表明它们可以在没有固定词汇的情况下产生声音。

使用该设备，参与者可以拼写单词，回答开放式问题，并使用解码器训练数据以外的一些单词来说出他想说的话。他告诉研究人员，合成的声音让他感到“快乐”，感觉就像他的“真声音”。

在其他实验中，BCI识别参与者是想把一个句子描述为疑问句还是陈述句。该装置还可以判断他在同一句话中强调了什么单词，并相应调整其合成语音的语调。“我们正在引入这些非常重要的人类语言中的所有不同元素。”Wairagkar说，过去的BCI只能产生单调的声音。

Silvia瑞士日内瓦大学的神经工程师 Marchesotti表示，该装置的功能“对未来患者的日常使用至关重要”。“从某种意义上说，这是一种范式变化，它真的可以带来现实生活中的工具。”