联系我们

深度学习

专家利用脑机制克服了AI技术的主要障碍

更新

 on

来自各个机构的一组人工智能(AI)专家克服了“增加AI功能的长期存在的主要障碍”。团队朝着人的大脑看去,许多AI开发就是如此。具体来说,该团队专注于人脑记忆机制,称为“重播”。

Gido van de Ven是第一位作者和博士后研究员。 Baylor的首席研究员Andreas Tolias以及UMass Amherst的Hava Siegelmann也加入了他的行列。 

该研究发表于 自然通讯

新方法

研究人员称,他们想出了一种新方法,可以有效地保护深度神经网络免受“灾难性遗忘”的影响。当神经网络进行新的学习时,它可以忘记先前学习的内容。 

这个障碍阻止了许多AI的发展。 

“一种解决方案是存储以前遇到的示例,并在学习新知识时重新访问它们。研究人员写道,尽管这种“重播”或“排练”解决了灾难性的遗忘,但对所有先前学习的任务进行持续的重新培训非常低效,并且必须存储的数据量很快变得难以管理。

人脑  

研究人员从人脑中汲取了灵感,因为它能够建立信息而不会忘记,对于AI神经网络而言并非如此。目前的发展是建立在研究人员以前的工作基础之上的,包括有关大脑中一种机制的发现,该机制被认为可以防止记忆被遗忘。这种机制是神经活动模式的重播。

Siegelmann认为,主要的发展来自“认识到大脑中的重放不会存储数据”,而是“大脑以较高的抽象水平生成了记忆的表示,而无需生成详细的记忆。”

西格尔曼(Siegelmann)掌握了这些信息,并与她的同事们一起使用人工智能技术开发了类似大脑的重放方式,其中没有存储任何数据。就像人脑一样,人工网络采用以前看到的内容来生成高级表示。

该方法非常高效,即使只重播了几个生成的表示,也可以记住旧的记忆,而学习新的记忆。生成重放可以有效防止灾难性遗忘,其主要好处之一是可以使系统从一种情况推广到另一种情况。

根据van de Ven的说法,“如果我们具有生成性重放功能的网络首先学会将猫与狗分开,然后将熊与狐狸分开,那么它也可以在没有经过专门训练的情况下告诉猫与狐狸。值得注意的是,系统学习的越多,学习新任务的能力就越强。”

该团队写道:“我们提出了一种新颖的,受大脑启发的重放方式,其中重放由网络自身的上下文调制反馈连接生成的内部或隐藏表示。” “我们的方法在不进行数据存储的情况下,在具有挑战性的持续学习基准测试中达到了最先进的性能,并且为大脑中的抽象重放提供了新颖的模型。”

 

Van de Ven继续说道:“我们的方法对重播可能有助于布莱恩记忆整合的方式做出了一些有趣的预测。” “我们已经在进行实验以测试其中的一些预测。”

 

亚历克斯·麦克法兰(Alex McFarland)是一位历史学家和新闻工作者,报道了人工智能的最新发展。