联系我们

AI 101.

什么是支持矢量机器?

mm

更新

 on

什么是支持矢量机器?

支持向量机是一种类型机器学习分类器,可以说是最受欢迎的分类器之一。支持向量机对于数值预测,分类和模式识别任务特别有用。

支持向量机通过绘制数据点之间的决策边界,针对最佳分隔数据点的决策边界(或最广泛)。使用支持向量机时的目标是点之间的决策边界尽可能大,使得任何给定数据点和边界线之间的距离最大化。这是一个快速解释如何支持向量机(SVM)操作,但让我们花一些时间深入了解SVMS如何运作并理解其操作背后的逻辑。

支持矢量机器的目标

想象一下,基于由x和y轴指定的特征,有多个数据点的图表。图中的数据点可以松散地分为两个不同的群集,以及数据点所属的群集指示数据点的类。现在假设我们希望在彼此分隔两个类的图表上绘制一条线,其中一个类中的所有数据点都在行的一侧找到,并且属于另一侧的另一个类的所有数据点这条线。该分离线称为超平面。

您可以将支持向量机视为在整个城市创建“道路”,将该城市分成道路两侧的地区。在道路一侧发现的所有建筑物(数据点)属于一个地区。

支持向量机的目标不仅要绘制超平面和划分数据点,而且要将超平面绘制与最大边距分隔的数据点,或者在分界线和任何给定数据点之间的空间。返回“道路”隐喻,如果一个城市策划者为高速公路制定计划,他们不希望高速公路太近房屋或其他建筑物。在两侧的高速公路和建筑物之间的边缘越多,越好。较大的余量,分类器可以是关于其预测的“自信”。在二进制分类的情况下,绘制正确的超平面意味着选择刚在两个不同类中间的超平面。如果决策边界/超平面更远的班级,它将更接近另一个类。因此,超平面必须平衡两种不同课程之间的余量。

计算分离超平面

那么支持向量机如何确定最佳分离的超平面/决策边界?这是通过使用数学公式计算可能的超平面来实现的。我们不会涵盖计算超平面的公式在极端细节,但该线是用着名的斜坡/线条公式计算的:

y =斧头+ b

同时,线条由点制成,这意味着任何超平面都可以描述为:由所提出的超平面并行运行的一组点,如模型时间由由指定的偏移/偏置修改的特征集的模型的重量所确定的(“D”)。

SVMS绘制了许多超平面。例如,边界行是一个超平面,但分类器认为的数据点也在超平面上。基于数据集中的功能确定X的值。例如,如果您使用具有许多人的高度和体重的数据集,则“高度”和“权重”功能将是用于计算“X”的功能。在划分超平面的两侧上发现的拟议超平面和各种“支持向量”(DataPoints)之间的边缘用下面的公式计算:

w * x.– b

虽然您可以了解更多关于SVMS后面的数学的信息,但如果您正在寻找更直观的理解,只知道目标是最大化建议的分离超平面/边界线和其他与其运行的超平面之间的距离(并在其中找到数据点)。

Photo: ZackWeinberg via Wikimedia Commons, CC BY SA 3.0 (//commons.wikimedia.org/wiki/File:Svm_separating_hyperplanes_(SVG).svg)

多包分类

到目前为止所描述的过程适用于二进制分类任务。但是,SVM分类器也可用于非二进制分类任务。在具有三个或更多类的数据集上执行SVM分类时,使用更多的边界线。例如,如果分类任务具有三个类而不是两个类,则两个分割线将用于将数据点分为类别,并且包括单个类的区域将落入两个分割线之间而不是一个类。而不是仅计算两个类与决策边界之间的距离,而是现在必须考虑决策边界和数据集中的多个类之间的边距。

非线性分离

上述过程适用于数据线性可分离的情况。注意,实际上,数据集几乎从不完全线性可分离,这​​意味着当使用SVM分类器时,您通常需要使用两种不同的技术: 柔软的边缘和核心技巧。考虑不同类的数据点混合在一起的情况,其中一些实例属于另一个类的“群集”中的一个类。您如何处理这些实例?

可用于处理非线性可分离数据集的一种策略是应用“软边距”SVM分类器。柔软的边缘分类器通过接受一些错误分类的数据点来操作。它将尝试绘制一个最能彼此分隔数据点集群的线,因为它们包含属于其各自类的大多数实例。软边距SVM分类器尝试创建一个分割线,该划分线平衡分类器的两个需求:准确性和边距。它将尽量减少错误分类,同时也会最大化边缘。

SVM的误差容差可以通过操纵称为“C”的HyperParamet来调整。C值控制分类器在绘制决策边界时进行了多少个支持向量。 C值是应用于错误分类的惩罚,这意味着C值较少的C值越少的Classifier考虑并缩小边距。

The kernel tricks data the data and transforms it in a nonlinear fashion. Photo: Shiyu Ju via Wikmedia Commons, CC BY SA 4.0 (//commons.wikimedia.org/wiki/File:Kernel_trick_idea.svg)

内核技巧通过将非线性转换应用于数据集中的功能来操作。内核特征在数据集中获取现有功能,并通过应用非线性数学函数创建新功能。这些非线性变换的应用的结果是非线性决策边界。因为SVM分类器不再限制为绘制线性决策边界,所以它可以开始绘制更好地封装支持向量的真正分布的曲线决策边界,并将错误分类带到最小值。两个最受欢迎的SVM非线性核中的两个是径向基函数和多项式。多项式函数创建所有现有特征的多项式组合,而径向基函数通过测量中心点/点之间的距离来产生新的特征。

Blogger和Programmer有专业的机器学习深度学习话题。丹尼尔希望帮助别人利用AI的力量来社交。