联系我们

AI 101.

什么是元学习?

mm

更新

 on

什么是元学习?

增长最快的研究领域之一机器学习是地区元学习。在机器学习背景下的元学习是使用机器学习算法来帮助培训和优化其他机器学习模型。随着元学习的变得越来越受欢迎,更多地开发了更多的元学习技术,有利于了解元学习是什么,并且具有可以应用的各种方式的感觉。让我们检查Meta-Learning背后的想法, 元学习的类型以及可以使用META学习的一些方式。

元学习是由唐纳德·莫德斯利创造的一个过程,以描述人们开始塑造他们所学习的过程,越来越多地控制他们内化的感知,询问,学习和增长习惯”。后来,认知科学家和心理学家会将元学习描述为“学习如何学习”。

对于Meta-Learning的机器学习版本,“学习如何学习”的一般概念应用于AI系统。在AI Sense中,元学习是一种人工智能机器学习如何执行各种复杂任务的能力,采用它用于学习一个任务并将其应用于其他任务的原则。 AI系统通常必须接受培训,以通过掌握许多小型子任务来完成任务。这种培训可能需要很长时间,AI代理商不容易将在一项任务中学到另一个任务期间的知识。创建元学习模型和技术可以帮助AI学习概括学习方法并更快地获取新技能。

元学习的类型

优化器元学习

元学习通常用于优化现有的神经网络的性能。优化器元学习方法通​​常通过调整不同神经网络的超参数来使其能够提高基本神经网络的性能。结果是,目标网络应该更好地执行它正在接受培训的任务。元学习优化器的一个示例是使用网络来改进梯度下降结果。

几次拍摄的元学习

几次拍摄的元学习方法是设计深度神经网络的一个能够从训练数据集推广到未经验证的数据集。几个拍摄分类的实例类似于正常的分类任务,而是数据示例是整个数据集。该模型在许多不同的学习任务/数据集上培训,然后在众多训练任务和未见数据上进行了优化的峰值性能。在这种方法中,单个训练样本被分成多个类别。这意味着每个训练样本/数据集可能由两类组成,总共4次。在这种情况下,总训练任务可以被描述为4拍的2级分类任务。

在几次学习中,这个想法是个人训练样本是简约的,网络可以学习在看几张图片后识别对象。这就像孩子在看到几张图片后如何学会区分对象。这种方法已被用于创建单次生成模型和内存增强神经网络等技术。

公制元学习

基于度量的元学习是利用神经网络来确定是否正在有效地使用度量,并且如果网络或网络正在击中目标度量。度量标准元学习类似于少量拍摄的学习,因为只需几个例子用于训练网络并使其了解度量空间。在各种域中使用相同的度量标准,如果网络从其视为失败的指标发散。

反复模型元学习

经常性模型元学习是应用元学习技术的应用经常性神经网络和类似的长期短期记忆网络。这种技术通过培训来运作rnn./LSTM.模型以顺序地学习数据集,然后使用此培训的模型作为另一个学习者的基础。 Meta-Learner承担了用于训练初始模型的特定优化算法。 Meta-Learner的继承参数化使其能够快速初始化和收敛,但仍然能够更新新方案。

元学习工作如何?

元学习的确切方式根据模型和手头任务的性质而变化。但是,一般来说,元学习任务涉及复制参数第一网络进入第二网络/优化器的参数。

元学习中有两个培训过程。在已经执行了基础模型的几个步骤之后,元学习模型通常培训。在培训基础模型的前进,向后和优化步骤之后,对优化模型进行前向训练通过。例如,在基础模型上进行三个或四个步骤之后,计算了Meta损耗。计算元损耗后,为每个元参数计算梯度。发生这种情况后,优化器中的元参数更新。

计算元损失的一种可能性是完成初始模型的前向训练通过,然后将已计算的损耗组合在一起。元优化器甚至可能是另一个元学习者,但在某一点上必须使用亚当或SGD等离散优化器。

许多深度学习模型可以具有数十万甚至数百万个参数。创建具有完全新的参数的元学习者将是计算昂贵的,因此,通常使用称为坐标共享的策略。坐标共享涉及工程荟萃学习/优化器,以便它从基础模型中了解一个单个参数,然后只是克隆参数代替所有其他参数。结果是,优化器所拥有的参数不依赖于模型的参数。

Blogger和Programmer有专业的机器学习深度学习话题。丹尼尔希望帮助别人利用AI的力量来社交。