联系我们

AI 101

什么是元学习?

mm

更新

 on

什么是元学习?

增长最快的研究领域之一 机器学习 是的面积 元学习。在机器学习上下文中,元学习是使用机器学习算法来协助其他机器学习模型的训练和优化。随着元学习变得越来越流行,并且元学习技术也得到了发展,了解元学习是什么并了解可以应用的各种方式将是有益的。让我们研究一下元学习背后的想法, 元学习的类型,以及使用元学习的一些方式。

元学习一词是唐纳德·莫兹利(Donald Maudsley)创造的,用来描述人们开始塑造他们所学的过程的过程,“逐渐控制着他们已经内化的感知,探究,学习和成长的习惯”。后来,认知科学家和心理学家将元学习描述为“学习如何学习”。

对于元学习的机器学习版本,“学习如何学习”的一般思想适用于AI系统。从AI的角度来说,元学习是指一种人工智能机器学习如何执行各种复杂任务,采用其学习一项任务的原理并将其应用于其他任务的能力。通常,必须对AI系统进行培训,以通过掌握许多小的子任务来完成任务。这项培训可能会花费很长时间,并且AI代理无法轻松地将一项任务中获得的知识转移到另一项任务中。创建元学习模型和技术可以帮助AI学习概括学习方法并更快地掌握新技能。

元学习的类型

优化器元学习

元学习通常用于优化已经存在的神经网络的性能。优化器元学习方法通​​常通过调整不同神经网络的超参数来起作用,以提高基本神经网络的性能。结果是目标网络应更好地执行正在接受训练的任务。元学习优化器的一个示例是使用网络来改进 梯度下降 结果。

少量元学习

几步元学习方法是设计深度神经网络的一种方法,它能够将训练数据集推广到看不见的数据集。一次性分类的实例与常规分类任务类似,但是数据样本是整个数据集。该模型针对许多不同的学习任务/数据集进行了训练,然后针对众多训练任务和看不见的数据进行了优化,以达到最佳性能。在这种方法中,将单个训练样本分为多个类别。这意味着每个训练样本/数据集可能由两个类别组成,总共4次。在这种情况下,整个训练任务可以描述为4发2类分类任务。

在少拍学习中,其思想是单个训练样本极简,并且网络仅看几张图片就可以学习识别物体。这就像一个孩子仅看几张照片就学会区分物体的方式。该方法已用于创建诸如一次性生成模型和记忆增强神经网络的技术。

公制元学习

基于度量的元学习是利用神经网络来确定度量是否被有效使用以及一个或多个网络是否达到了目标度量。度量元学习与少量学习相似,因为仅使用了一些示例来训练网络并让其学习度量空间。跨不同域使用相同的度量标准,如果网络偏离该度量标准,则认为它们发生了故障。

循环模型元学习

循环模型元学习是元学习技术的应用 递归神经网络 和类似的 长短期记忆 网络。该技术通过训练 神经网络/LSTM 依次学习数据集的模型,然后使用经过训练的模型作为另一个学习者的基础。元学习器采用了用于训练初始模型的特定优化算法。元学习器的继承参数化使其能够快速初始化和收敛,但仍能够针对新场景进行更新。

元学习如何工作?

进行元学习的确切方式因模型和手头任务的性质而异。但是,一般而言,元学习任务 涉及复制参数 将第一网络的参数转换为第二网络/优化器的参数。

元学习有两个训练过程。通常在对基础模型进行几个训练步骤之后,对元学习模型进行训练。在对基础模型进行训练的向前,向后和优化步骤之后,对优化模型进行正向训练。例如,在基本模型上进行三到四个训练之后,就可以计算出元损失。在计算了元损失之后,为每个元参数计算梯度。发生这种情况后,更新优化器中的元参数。

计算元损失的一种可能性是完成初始模型的正向训练遍历,然后合并已经计算的损失。元优化器甚至可以是另一个元学习器,尽管在某些时候必须使用离散优化器(例如ADAM或SGD)。

许多 深度学习 模型可以具有数十万甚至数百万个参数。创建具有全新参数集的元学习器在计算上会非常昂贵,因此,通常使用一种称为坐标共享的策略。坐标共享涉及对元学习器/优化器进行工程设计,以便它从基本模型中学习单个参数,然后仅克隆该参数来代替所有其他参数。结果是优化器拥有的参数不依赖于模型的参数。

专门从事以下工作的Blogger和程序员 机器学习 深度学习 话题。 Daniel希望帮助他人将AI的力量用于社会公益。