联系我们

AI 101

什么是梯度提升?

mm

更新

 on

常见的 机器学习 在以下方面非常有用的12博下载app 数据科学 竞赛是一种梯度提升12博下载app。 梯度提升 基本上是将弱学习12博下载app转换为强学习12博下载app的过程。然而,这到底是如何完成的呢?让我们仔细研究一下梯度增强算法和更好的算法 了解梯度提升12博下载app 将弱者变成强者。

定义梯度提升

本文旨在为您提供什么是梯度增强的很好的直觉,而不会导致算法背后的数学崩溃。一旦了解了梯度增强在高水平下的工作原理,便会鼓励您更深入地研究使之成为可能的数学方法。

让我们首先定义“提升”学习者的含义。通过调整学习12博下载app的属性,弱学习者将转变为强学习者。究竟正在提高哪种学习算法?

通过增强另一个常见的机器学习12博下载app来增强12博下载app的工作能力, 决策树。

A 决策树 通过将数据集分成越来越小的部分来进行建模,一旦子集无法再进一步分裂,结果就是一棵有节点和叶子的树。一个节点 决策树 使用不同的过滤条件做出有关数据点的决策。决策树中的叶子是已分类的数据点。决策树算法可以处理数字和分类数据,并且树中的拆分基于特定的变量/功能。

增强12博下载app训练方式的图示。
Photo: SeattleDataBuy via Wikimedia Commons, CC 4.0 (//commons.wikimedia.org/wiki/File:Boosting.png)

一种提升算法是 AdaBoost算法。 AdaBoost算法首先训练决策树12博下载app,然后为每个观察值分配相等的权重。在评估第一棵树的准确性之后,调整不同观测值的权重。易于分类的观测值的权重降低,而难以分类的观测值的权重提高。使用这些调整后的权重创建第二棵树,目的是使第二棵树的预测比第一棵树的预测更准确。

该12博下载app现在包括原始树和新树(或树1 +树2)的预测。根据新12博下载app再次评估分类准确性。根据计算出的12博下载app误差创建第三棵树,然后再次调整权重。此过程将继续进行给定的迭代次数,最终12博下载app是一个集成12博下载app,该12博下载app使用所有先前构造的树做出的预测的加权和。

上述过程使用决策树和基础预测器/12博下载app,但是可以使用多种12博下载app(例如许多标准分类器和回归器12博下载app)来实施增强方法。要理解的关键概念是,后续预测器将从先前的错误中学习,并且预测器是顺序创建的。

提升算法的主要优点是,与其他机器学习12博下载app相比,提升算法花费的时间更少。但是,在采用升压算法时需要格外小心,因为它们易于过度拟合。

梯度提升

现在,我们将介绍最常见的增强算法之一。梯度提升12博下载app(GBM)以其高精度而著称,并且它们扩展了AdaBoost中使用的一般原理。

梯度提升12博下载app和AdaBoost之间的主要区别在于,GBM使用不同的方法来计算哪些学习者误认了数据点。 AdaBoost通过检查权重较高的数据点来计算12博下载app表现不佳的地方。同时,GBM使用梯度来确定学习者的准确性,并将损失函数应用于12博下载app。损失函数是一种测量12博下载app拟合数据集的准确性,计算误差并优化12博下载app以减少误差的方法。 GBM使用户可以根据其期望的目标优化指定的损失函数。

采取最常见的损失函数 – 均方误差(MSE) – as an example, 梯度下降 用于根据预定义的学习率更新预测,旨在找到损失最小的值。

为了更清楚一点:

新12博下载app预测=输出变量–旧的不完善的预测。

从更具统计意义的意义上讲,GBM旨在在12博下载app残差中找到相关的模式,调整12博下载app以适合该模式,并使残差尽可能接近零。如果要对12博下载app的预测进行回归,则残差将分布在0(完全拟合)附近,GBM会在残差内找到模式,并根据这些模式更新12博下载app。

换句话说,更新预测以使所有残差之和尽可能接近0,这意味着预测值将非常接近实际值。

请注意,GBM可以使用多种其他损失函数(例如对数损失)。为了简单起见,上面选择了MSE。

梯度提升12博下载app的变化

梯度提升12博下载app是贪婪算法,易于在数据集上过度拟合。可以用 几种不同的方法 可以改善GBM的性能。

GBM可以通过四种不同的方法进行调节:收缩,树约束,随机梯度增强和惩罚学习。

收缩率

如前所述,在GBM中,预测是按顺序汇总在一起的。在“收缩率”中,”调整每棵树对总和的加法。施加权重会减慢算法的学习速度,因此有必要向12博下载app中添加更多树,这通常会提高12博下载app的鲁棒性和性能。需要权衡的是该12博下载app需要更长的训练时间。

树约束

通过各种调整来约束树,例如增加树的深度或增加树中节点或叶子的数量,可能会使12博下载app难以过度拟合。对每个拆分的最小观察数施加约束具有类似的效果。再次需要权衡的是,将需要更长的时间来训练12博下载app。

随机抽样

可以基于随机选择的训练数据集的子样本,通过随机过程创建单个学习者。这具有减少树木之间的相关性的作用,从而防止过度拟合。可以在创建树之前或考虑在树中拆分之前对数据集进行子精化。

惩罚性学习

除了通过限制树的结构来约束12博下载app之外,还可以使用回归树。回归树在每个叶子上都有数值,这些数值作为权重,可以使用常见的正则化函数(例如L1和L2正规化)进行调整。

专门从事以下工作的Blogger和程序员 机器学习 深度学习 话题。 Daniel希望帮助他人将AI的力量用于社会公益。