NextMind称实现了实时脑机交互思维代替双手将变为可能

雷锋网 1 月 7 日消息,据外媒 Venturebeat 报道, NextMind 正在开发一种实时的脑-机接口:可将大脑视觉皮层的信号转换为机器可以读取的数字指令,这样一来,我们就可以通过大脑发出的视觉信号来控制计算机、AR/VR 眼镜等设备。同时,NextMind 将在本月推出面向开发者和合作伙伴的开发套件,售价 399 美元。

到目前为止,NextMind 的研究成果还停留在演示阶段,他们也在努力寻找非常高价值的应用场景。因此,公司目前准备推出开发套件。

Kouider 说“大脑视觉皮层既是外部世界信息输入的区域,又是记忆、想象力的输出区域。视觉皮层中提供视觉意识的神经元就是用来处理外界信息的神经元。”解码视觉意图和解码视觉想象力这两条轨道将在同一硬件上一起应用。不同的软件和算法将针对性的处理不同的任务。

雷锋网雷锋网雷锋网(公众号:雷锋网)

第一,他们希望借此获得更多数据以改善其机器学习算法;第二,他们也希望借此探索更多的使用场景。

NextMind 的设备重约 60 克,具有 8 个电极,用于测量大脑活动。8 个是保证数据不丢失情况下的最小电极数目。另外,真正实现突破的是 NextMind 可以让电极本身获取更多的神经数据,从而提高机器学习的效果。

介于视觉信息和视觉想象这两个极端之间的就是视觉注意力。人们对视觉注意力的控制是自上而下的,它受前额叶皮层等其他大脑区域的控制。视觉注意力的集中会增强一些特定的神经元,这就是 NextMind 所要解读的东西。 

Kouider 提到,NextMind 引起了自动驾驶汽车制造商的兴趣。他们设想将电极直接放在汽车座椅上,车辆可能不再需要方向盘,乘客可以躺在座椅上并控制汽车,同时也不需要佩戴任何设备。

他们使用了新的高灵敏度材料,使其设备的 SNR(信噪比)比临床脑电图提高了约4倍。并且电极的形状很像梳子,可以穿过头发触达头皮以获得良好的信号。

目前这些测试需要依靠特定的形状和颜色,但 Kouider 表示,很快 NextMind 的设备就将摆脱对于颜色的依赖,可以解码任意形状,甚至不需要具体图案。“我们改进了硬件,我们改进了机器学习算法。这些都可以提高设备对于视觉神经信息的认知。”

Kouider 提到的另一个应用场景是神经监测。比如飞机出现了故障,警报响起,但飞行员没有注意到也没有做任何反馈,NextMind 的设备就可以检测到这一情况,并据此调整警报,让它更加明显。“但是对我们而言,重要的是进行控制,而不是监视,为此我们也在不断优化算法让它更快。”

Kouider 说,“我们对大脑的运作方式特别是视觉意识、知觉和注意力的运作方式有很好的理解,这也是我们能够发明这种被称为“数字神经同步”的新方法的原因。我们不解码视觉意图本身,而是解码视觉意图的输出。”

当用户专注于观察某项事物时,这项事物的对应信号就会反馈在大脑的视觉皮层,体现为脑电图的独特波动。大脑的视觉皮层不仅会接收眼睛输入的信息,同时也会放大这些神经信号。

针对现场情况,消防救援人员下到坑内,借助电动液压顶杆、液压扩张钳等工具展开救援,其余人员疏散周围群众做好警戒。在逐步扩大救援空间后,陆续将3名被困人员救出,转交现场医护人员。

Kouider 继续说道,“当用户环顾四周并聚焦于某个对象时,有关这个对象的神经信号就会放大,我们就会知道用户想移动或激活这个物体。物体和大脑之间是存在神经共鸣的,注意力越集中,共鸣就越强,机器学习解码的程度就会越高。最终,我们就可以确认用户是要移动那个东西。”

雷锋网原创文章,。详情见转载须知。

在 2017 年 9 月创立 NextMind 之前,Kouider 是认知神经科学教授,曾在《科学》和《自然》上发表过有关视觉意识和大脑的论文。他的工作主要针对无法说出或无法表达自己思想的人群。在积累了许多无创解码神经信号的专业知识后,Kouider 希望开发一种真正可以实时交互的产品。

据前往救援的消防人员介绍,事故现场为一座砖头砌成的污水井发生坍塌,将避闪不及的3名工人压住。其中,2名工人站立着靠在墙边,腰部以下部位被压住无法动弹,但意识清醒;另一名工人则被完全压住,基本失去意识。坑内,有5名工友正在借助锄头等进行施救。

重约60克,具有8个电极

目前,这三名人员正在当地医院接受进一步治疗,事故具体原因还在调查中。

Kouider 表示,“如果使用较小的版本,将 NextMind 的设备后置在 AR 头显设备的头带上,它将成为一个很好的潜在应用场景。用户可以将其与手势配合使用,还可以将其与眼动追踪配合使用。”

“我们最主要的成就是第一次实现了实时的大脑互动,” Kouider 说。“不过用不了三四年,我就可以闭上眼睛思考一下我的妻子和孩子,他们的照片就会显示在屏幕上,这样的场景已经不远了。从理论上这行得通,只是需要对神经信号更进一步的处理。虽然我们知道大脑运行的原理,但是一旦涉及到要实时处理,就会变得非常棘手。” 

这也是为什么NextMind的设备有别于眼动仪( eye tracker )。眼动仪无法感知用户意图的。Kouider举了一个简单的例子,他在自己面前举起一个杯子,并注视坐在自己前面的人。此时,眼动仪无法判断 Kouider 是在看着人还是杯子。但是,NextMind 设备就可以,它不仅知道你看到了什么,还能知道你想看的是什么。

所以,NextMind 的目标是做从视觉皮层实时地解码视觉意识,进行脑机交互。Kouider 希望让这个技术广泛的普及,让用户可以借此与任何显示器进行脑机交互。

“目前硬件是最主要的限制。但这不仅是我们的问题,也涉及到任何需要成像问题。虽然核磁共振( MRI )的图像分辨率很高,但我们肯定没法用它。就像任何机器学习创业公司都面临的问题一样,数据量限制了可以走多远。”

如何实现实时互动呢?

公开资料显示,NextMind 是依靠机器学习算法构建非侵入性神经界面的初创公司之一。2019 年 9 月,Facebook 收购了 Ctrl-labs ,后者当时正在开发一种肌电描记器腕带,可以将肌肉神经信号转换成机器指令。而 NextMind 目前正在开发的无创设备,是一种脑电图(EEG)读取分析装置,戴在人脑后部视觉皮层所在的部位。NextMind 在 CES 2020上获得了“ VR / AR 最佳创新奖”和“可穿戴技术荣誉奖( Honoree in wearable technologies )”。NextMind 目前由 15 人组成,分布在软件、机器学习、硬件和游戏开发等领域。

在第一次使用时,NextMind 的设备首先要对用户的大脑进行初步了解。它会通过一次校准和软件训练来建立用户的神经特征模型。过程包括用户需要将注意力集中在一些会出现在屏幕上不同位置的绿色三角形图案。整个过程只需要几分钟,用户需要保持沉默以获得一个更加准确的模型。

Kouider 说,“视觉皮层包含有关形状、方向、边界、颜色和运动各类信息。”

第一步解码意图输出。NextMind 希望可以直接通过大脑来实现实时交互。实现不仅是“看到的”,更是“想到的”的。

目前,解码视觉意图输出只是第一步,第二步并行的轨道是解码视觉想象力(visual imagination),这样即使用户闭着眼睛,设备一样可以知道用户在想什么,也就是可以读出脑海中的画面。