科学家成功解码脑电波 AI直接从大脑中合成语音

大脑活动能够解码成语音了。

说话似乎是一项毫不费力的活动，但它其实是人类最复杂的动作之一。说话需要精确、动态地协调声道发音器官结构中的肌肉——嘴唇、舌头、喉部和下颌。当由于中风、肌萎缩侧索硬化症或其他神经系统疾病而导致言语中断时，丧失说话能力可能是毁灭性的。

来自加州大学旧金山分校的科学家创造了更接近能够恢复说话功能的脑机接口（brain–computer interface， BCI）。

脑机接口旨在帮助瘫痪患者直接从大脑中“读取”他们的意图，并利用这些信息控制外部设备或移动瘫痪的肢体，这项技术目前能够使瘫痪的人每分钟最多能打出8个单词，而加州大学旧金山分享的研究人员开发了一种方法，使用深度学习方法直接从大脑信号中产生口语句子，达到150个单词，接近正常人水平！

这项研究发表在最新一期《自然》杂志上，作者为Anumanchipalli以及华裔科学家Edward Chang等人。

每分钟能够生成150单词，接近正常人类水平

加州大学旧金山分校的研究人员与5名志愿者合作，志愿者们接受了一项被称为“颅内监测”的实验，其中电极被用于监测大脑活动，作为癫痫治疗的一部分。

许多癫痫患者的药物治疗效果并不好，他们选择接受脑部手术。在术前，医生必须首先找到病人大脑中癫痫发作的“热点”，这一过程是通过放置在大脑内部或表面的电极来完成的，并监测明显的电信号高峰。

精确定位“热点”的位置可能需要数周时间。在此期间，患者通过植入大脑区域或其附近的电极来度日，这些区域涉及运动和听觉信号。这些患者一般会同意利用这些植入物进行额外的实验。

ECoG电极阵列由记录大脑活动的颅内电极组成

此次招募的五名志愿者同意测试虚拟语音发生器。每个患者都植入了一两个电极阵列：图章大小的、包含几百个微电极的小垫，放置在大脑表面。

实验要求参与者背诵几百个句子，电极会记录运动皮层中神经元的放电模式。研究人员将这些模式与患者在自然说话时嘴唇，舌头，喉部和下颌的微小运动联系起来。然后将这些动作翻译成口语化的句子。

参与的志愿者大脑中的电极阵列位置

实验要求母语为英语的人听这些句子，以测试虚拟语音的流畅性。研究发现，大约70%的虚拟系统生成的内容是可理解的。

最终，这套新系统每分钟能够生成150单词，接近自然讲话的语速水平。而以前基于植入物的通信系统每分钟可以生成大约8个单词。

技术细节：两阶段解码方法

在这项工作中，研究人员使用了一种叫做高密度皮层脑电图的技术来跟踪志愿者说话时大脑中控制言语和发音器官运动的区域的活动，志愿者们被要求说了几百句话。

为了重建话语，Anumanchipalli等人不是将大脑信号直接转换为音频信号，而是使用一种两级解码的方法。他们首先将神经信号转换为声道发音器官运动的表示，然后将解码的运动转换为口语句子，如图1所示。两次转换都使用了递归神经网络——一种人工神经网络，在处理和转换具有复杂时间结构的数据时特别有效。

图1：语音合成的脑机接口

在上图A中，以前的语音合成研究采用的方法是使用脑电图（ECoG）设备监测大脑语音相关区域的神经信号，并尝试将这些信号直接解码合成语音，使用一种称为递归神经网络（RNN）的人工神经网络；

上图B中，Anumanchipalli等人开发了一种不同的方法，RNN被用于两阶段解码。其中一个解码步骤是将神经信号转换成声道发声器官（红色）的预估运动，涉及到语音生成的解剖结构（嘴唇、舌头、喉部和下颌）。为了在第一个解码步骤中进行训练，作者需要每个人的声道运动与他们的神经活动关联起来的数据。

因为无法直接测量每个人的声道运动，Anumanchipalli等人构建了一个RNN来预估这些运动，其训练数据是之前收集的大量声道运动数据和语音录音。这个RNN产生的声道运动估计足以训练第一个解码器。第二个解码步骤将这些估计的动作转换成合成语音。Anumanchipalli和他的同事的两步解码方法产生的口语句子的失真率明显低于直接解码方法获得的句子。

与直接解码声学特征相比，作者采用的两阶段解码方法能明显减小声音失真。如果可以获得跨多种语音条件的海量数据集，那么直接合成可能会接近或优于两阶段解码的方法。

然而，考虑到现实中数据集的匮乏，解码的中间阶段会将声道发音器官正常运动功能的信息带入模型，并限制必须评估的神经网络模型的可能参数。这种方法似乎使神经网络能够实现更高的性能。最终，反映正常运动功能的“仿生”方法可能在复制自然语言典型的快速、高精度通信方面发挥关键作用。

不能说话的个体也能实现语音合成

在脑机接口（BCI）研究中，包括新兴的语音脑机接口领域，开发和采用允许跨研究进行有意义的比较的稳健度量是一项挑战。例如，重构原始语音的错误等度量可能与脑机接口的功能性能（即听者是否能听懂合成的语音）几乎没有对应关系。

为了解决这个问题，Anumanchipalli等人从语音工程领域出发，开发了易于复制的人类听众语音可懂度测量方法。他们在众包市场Amazon Mechanical Turk上招募用户，让志愿者识别合成语音中的单词或句子。与重构错误或以前使用的自动可懂度测量方法不同，这种方法直接测量语音对人类听众的可懂度，而不需要与原始话语进行比较。

Anumanchipalli和他的同事的研究结果为语音合成脑机接口的概念提供了令人信服证据，无论是在音频重建的准确性方面，还是在听者对产生的单词和句子进行分类的能力方面。

然而，在通往临床可行的语音脑机接口的道路上仍有许多挑战。

重构语音的可理解性仍远低于自然语音，脑机接口能否通过收集更大的数据集并继续开发底层的计算方法来进一步改进还有待观察。使用记录局部脑活动的神经接口可能比使用皮层脑电图记录的更为有效。例如，在脑机接口研究的其他领域，皮质内微电极阵列通常比皮质脑电图具有更高的性能。