联系我们

AI 101.

什么是贝叶斯定理?

mm

更新

 on

如果你一直在学习 数据科学 或者 机器学习,你听到了很多机会术语“贝叶斯定理”之前,或“贝叶斯分类器”。这些概念可能有些令人困惑,特别是如果您不习惯从传统,频繁的统计视角思考概率。本文将试图解释贝叶斯定理背后的原则以及它’S用于机器学习。

什么是贝叶斯定理?

贝叶斯定理是一种方法计算条件概率。计算条件概率的传统方法(给定不同事件发生的一个事件的概率)是使用条件概率公式,计算事件一个和事件两者的联合概率,同时发生,然后划分事件通过事件发生的可能性。然而,通过使用贝叶斯定理,还可以以略微不同的方式计算条件概率。

使用Bayes Theorem计算条件概率时,您可以使用以下步骤:

  • 确定条件b的概率为真,假设条件a为true。
  • 确定事件A的概率是真的。
  • 将两个概率乘以。
  • 除以事件B发生的概率。

这意味着贝叶斯定理的公式可以如下表达:

P(a | b)= p(b | a)* p(a)/ p(b)

计算像这样的条件概率,当可以容易地计算反向条件概率时特别有用,或者计算联合概率太挑战。

贝叶斯定理的例子

如果我们花了一些时间看,这可能更容易解释 例子 如何应用贝叶斯推理和贝叶斯定理。让我们假设你正在玩一个简单的游戏,其中多个参与者告诉你一个故事,你必须确定哪一个参与者骗你。让我们在这个假设场景中填写贝叶斯定理的等式。

我们正试图预测游戏中的每个人是否撒谎或讲述真相,所以如果除了你的三个球员,分类变量可以表示为A1,A2和A3。他们谎言/真理的证据是他们的行为。就像在玩扑克时,你会寻找某些人正在撒谎并使用那样作为信息的比例来告知你的猜测。或者如果您被允许质疑他们,那将是他们故事不会加起来的任何证据。我们可以代表一个人撒谎的证据。

明确,我们的目标是预测概率(A是撒谎/讲述真理|鉴于他们的行为的证据)。为了做到这一点,我们想弄清楚B给定A的概率,或者他们的行为将在真正撒谎或讲述真实性的人中发生的概率。您正在尝试确定在哪种情况下,您所看到的行为将是最有意义的。如果您目睹了三种行为,您将对每个行为进行计算。例如,p(b1,b2,b3 * a)。然后,您可以为游戏中的每一个人免于自己的每一个人这样做。这就是上面的等式的这一部分:

p(b1,b2,b3,| a)* p | a

最后,我们只是通过B的概率来分裂。

如果我们收到了关于该等式中实际概率的任何证据,我们将重新创建我们的概率模型,以考虑到新的证据。当您更新关于所观察到的事件的现有概率时更新您的假设,称为更新您的前瞻符。

贝叶斯定理的机器学习应用

它最常见的贝叶斯定理来到机器学习是朴素贝叶斯算法的形式。

朴素贝叶斯用于分类二进制和多级数据集,天真贝叶斯获取其名称,因为分配给证人证据/属性的值–B(b1,b2,b3 * a)中的bs–假设彼此独立。它假定这些属性不会互相影响,以便简化模型并使计算可能,而不是尝试计算每个属性之间的关系的复杂任务。尽管存在这种简化的模型,但即使在这个假设可能不是真的(大多数时间),即使当这个假设可能不是真的(大多数时间),幼稚的贝叶斯往往也是一种分类算法。

还有 常用的变种朴素的贝叶斯分类器,如多行幼稚贝叶斯,伯努利天真贝叶斯和高斯天真贝叶斯。

多项式天真贝父算法通常用于对文档进行分类,因为它在解释文档中的单词的频率时是有效的。

伯努利天真贝父与多项式幼稚贝叶斯类似地操作,但是算法呈现的预测是Booleans。这意味着当预测类时,值将是二进制,否或是。在文本分类的领域中,伯努利天真贝叶斯算法将根据文本文档中是否在文本文档中找到单词来分配参数是或否。

如果预测器/功能的值不是离散但是连续的,则高斯天真贝父可以使用。假设具有连续特征的值已从高斯分布中采样。