联系我们

人工神经网络

工程师开发节能型““早起的鸟儿”方法来训练深度神经网络

已发表

 on

赖斯大学的工程师们开发了一种用通常所需能量的一小部分训练深度神经网络(DNN)的新方法。 DNN是人工智能(AI)的形式,在自动驾驶汽车,智能助手,面部识别和其他应用程序等技术的开发中起着关键作用。

早起的鸟儿在 一篇论文 在4月29日由莱斯和德州A研究人员&M大学。它发生在 国际学习代表大会或ICLR 2020。 

该研究的主要作者是莱斯的高效和智能计算(EIC)实验室的郝浩然和李朝建。在一项研究中,他们证明了该方法如何以与当今方法相同的水平和精度训练DNN,但所消耗的能量却少了10.7倍。 

这项研究是由EIC实验室主任Linyingyan Lin,赖斯的Richard Baraniuk和Texas A领导的&M的Zhangyang Wang其他合著者包括徐鹏飞,傅永干,王跃和陈晓涵。 

“近期AI突破的主要动力是引入更大,更昂贵的DNN,” Lin said. “但是训练这些DNN需要大量的精力。为了揭示更多的创新,必须找到‘greener’既解决环境问题又减少AI研究的财务障碍的培训方法。”

训练DNN的费用昂贵

训练世界上最好的DNN可能会非常昂贵,而且价格还会持续上涨。在2019年,由西雅图艾伦AI研究所领导的一项研究发现,与2012-2018年相比,要训练一流的深度神经网络,需要的计算量是300,000倍。这次由马萨诸塞州阿默斯特大学的研究人员领导的另一项2019年研究发现,通过训练一个单一的精英DNN,大约释放了与五辆美国汽车相同的二氧化碳排放量。 

为了使DNN执行其高度专业化的任务,它们至少包含数百万个人工神经元。他们能够通过观察大量示例来学习如何做出决策,有时甚至胜过人类。他们可以执行此操作而无需显式编程。 

修剪和训练

林是莱斯大学布朗工程学院的电气和计算机工程助理教授。 

“进行DNN训练的最新方法称为渐进式修剪和训练,” Lin said. “首先,您训练一个密集而庞大的网络,然后删除不’t look important —像修剪一棵树。然后,您需要对修剪的网络进行重新培训以恢复性能,因为修剪后性能会下降。在实践中,您需要修剪和再培训多次才能获得良好的性能。”

使用此方法是因为不需要所有的人工神经元来完成专门的任务。由于训练,神经元之间的连接得以加强,其他神经元可以被丢弃。这种修剪方法削减了计算成本并减小了模型大小,这使得经过全面训练的DNN更加经济实惠。 

“第一步,训练密集而庞大的网络是最昂贵的,” Lin said. “我们在这项工作中的想法是确定最终的,功能齐全的修剪网络,我们称其为‘early-bird ticket,’在这个昂贵的第一步的开始阶段。”

研究人员通过寻找关键的网络连接模式来做到这一点,并且他们能够发现这些早鸟票。这使他们可以加快DNN培训。 

训练初期的早起鸟儿

林和其他研究人员发现,在训练开始阶段,“早起的鸟儿”可能会出现十分之一或更短的时间。 

“我们的方法可以在密集的巨型网络训练的前10%或更少的时间内自动识别早鸟票,” Lin said. “这意味着您可以训练DNN,以给定任务在大约传统训练所需时间的10%或更少的时间内达到相同或什至更好的精度,这可以节省大量的计算和能源。”

除了更快,更节能外,研究人员还特别关注环境影响。 

“我们的目标是使AI更加环保,更具包容性,” she said. “复杂的AI问题的庞大规模使较小的参与者无法进入。绿色AI可以打开大门,使研究人员可以使用笔记本电脑或有限的计算资源来探索AI创新。”

该研究得到了美国国家科学基金会的支持。