联系我们

脑机接口

工程师开发基于AI的手势识别系统

已发表

 on

图片:Rabaey Lab

加州大学伯克利分校的工程师开发了一种设备,该设备可以根据前臂中检测到的电信号识别手势。这个新开发的系统是可穿戴生物传感器和人工智能(AI)的结果,可以更好地控制假肢和人机交互。

阿里·穆恩(Ali Moin)是设计团队的成员,也是加州大学伯克利分校电气工程和计算机科学系的博士研究生。穆恩还是12月21日在线发表在该杂志上的研究论文的第一作者 自然电子.

“修复术是该技术的重要应用之一,但除此之外,它还提供了一种非常直观的与计算机通信的方式。” said Moin. “读取手势是改善人机交互的一种方法。而且,虽然还有其他方式可以做到这一点,例如,使用摄像头和 计算机视觉 ,这是一个很好的解决方案,也可以维护个人’s privacy.”

手势识别系统

在系统开发过程中,该团队与加州大学伯克利分校的电气工程教授Ana Arias合作。他们一起设计并创建了一个灵活的臂带,能够读取前臂上64个不同点的电信号。然后将这些电信号馈送到用AI算法编程的电芯片中。该算法可以识别来自特定手势的前臂信号模式。

该算法能够识别21种单独的手势。

“当您希望手部肌肉收缩时,大脑会通过脖子和肩膀的神经元向手臂和手部的肌纤维发送电信号,” Moin said. “本质上,袖带中的电极正在感应的是该电场。它’就我们可以’可以精确地确定触发了哪些确切的纤维,但是由于电极密度高,它仍然可以学习识别某些模式。”

人工智能 算法首先学习识别手臂中的电信号及其相应的手势,这要求用户在做出手势时佩戴设备。更进一步,该系统依靠超维计算算法,这是一种不断自我更新的高级AI。这项先进的技术使系统可以使用新信息(例如手臂运动或出汗)进行自我校正。

“在手势识别中,您的信号会随着时间而变化,这会影响模型的性能,” Moin said. “通过更新设备上的模型,我们能够大大提高分类的准确性。”

控制假手的臂章

在YouTube上观看此视频

在芯片上本地计算

该设备的另一个令人印象深刻的功能是,所有计算都在芯片上进行,这意味着不会将个人数据传输到其他设备。这样可以缩短计算时间并保护生物数据。

Jan Rabaey是UC Berkeley的Donald O. Pedersen电气工程杰出教授,也是该论文的高级作者。

“当Amazon或Apple创建算法时,他们会在云中运行一堆软件来创建模型,然后将模型下载到您的设备上,” said Jan Rabaey. “问题是那你’坚持那个特定的模型。在我们的方法中,我们实现了一个过程,其中学习是在设备本身上完成的。而且速度非常快:您只需要做一次,就可以开始工作。但是,如果您重复执行多次,它会变得更好。因此,它是不断学习,这就是人类的学习方式。”

根据Rabaey的说法,只要稍作改动,该设备就可以商品化。

“这些技术大多数已经存在于其他地方,但是’该设备的独特之处在于,它将生物传感,信号处理和解释以及人工智能集成到一个相对较小且灵活且具有低功耗预算的系统中,” Rabaey said.

亚历克斯·麦克法兰(Alex McFarland)是一位历史学家和新闻工作者,报道了人工智能的最新发展。