【机器学习自学笔记4】朴素贝叶斯分类器

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

贝叶斯公式

$$
P(B|A) = \frac{P(AB)}{P(A)} = \frac{P(A|B)P(B)}{P(A)}
$$

根据贝叶斯公式，如果已知一个实例的特征，要求该实例属于哪个类别的概率最大，只需要知道该特征在每个类别种的概率即可！

即根据先验概率求解后验概率。
$$
P(类别|特征)=\frac{P(特征|类型)P(类别)}{P(特征)}
$$
这就是贝叶斯分类的核心思想

朴素贝叶斯分类

已知数据集

颜色	响声	甜度	好瓜
青绿	浑浊	不甜	不是
青绿	浑浊	不甜	不是
青绿	清脆	甜	是
青绿	浑浊	不甜	不是
深绿	清脆	甜	是
深绿	浑浊	甜	是
深绿	浑浊	不甜	是
深绿	清脆	甜	是
深绿	清脆	甜	是

给出问题，如果已知有一个瓜的特征 = {深绿，清脆，不甜}，这个瓜是不是好瓜？

这是典型的后验概率问题，可以通过贝叶斯公式转换为对先验概率的求解问题：
$$
P(好瓜|颜色=深绿，响声=清脆，甜度=不甜) = \frac{P(颜色=深绿，响声=清脆，甜度=不甜|好瓜)P(好瓜)}{P(颜色=深绿，响声=清脆，甜度=不甜)}
$$
如果数据集的几个特征相互独立，则上述公式可以变换为：
$$
P(好瓜|颜色=深绿，响声=清脆，甜度=不甜)
$$

$$
= \frac{P(颜色=深绿|好瓜)P(响声=清脆|好瓜)P(甜度=不甜|好瓜)P(好瓜)}{P(颜色=深绿)P(响声=清脆)P(甜度=不甜)}
$$

这样一来，问题就变得非常容易求解。

根据数据集求出各个概率：
$$
P(颜色=深绿|好瓜) = \frac{5}{6} = 0.8333
$$

$$
P(响声=清脆|好瓜)=\frac{4}{6}=0.6667
$$

$$
P(甜度=不甜|好瓜) = \frac{1}{6} = 0.1667
$$

$$
P(好瓜) = \frac{6}{9} = 0.6667
$$

$$
P(颜色=深绿) = \frac{5}{9} = 0.5556
$$

$$
P(响声=清脆) = \frac{4}{9} = 0.4444
$$

$$
P(甜度=甜) = \frac{5}{9} = 0.5556
$$

故
$$
P(好瓜|颜色=深绿，响声=清脆，甜度=不甜)
$$

$$
= \frac{0.8333\cdot0.6667\cdot0.1667\cdot0.6667}{0.5556\cdot0.4444\cdot0.5556} = 0.4501
$$

同理
$$
P(不是好瓜|颜色=深绿，响声=清脆，甜度=不甜) = 0.5499
$$
因此，深绿、清脆、不甜的瓜不是好瓜的概率更大。

朴素贝叶斯分类为什么朴素

那么，何为朴素贝叶斯分类中的朴素？

注意到，我们上面的计算基于各特征间相互独立的假设，这是一个较强的假设。

朴素一词对应英文中的 naive，即天真，意思是这种想当然的假设是非常天真的，在现实生活中，这种特征相互独立的情况几乎不存在。

之所以要假设特征间相互独立，有两个原因：

• 减少计算量
• 同时满足各个特征的样本难以寻找甚至不存在，无法保证充足的样本

拉普拉斯修正

朴素贝叶斯分类有一个问题：如果计算中有一个概率出现 0，会导致什么？

答：结果为 0 或无法计算。

这显然不是我们想要的结果！

为了解决这个问题，可以引入拉普拉斯修正对概率进行平滑化处理：

• |D|表示数据集的样本个数
• N 表示数据集结果拥有的类别数
• $N_i$ 表示该特征拥有的类别数

$$
\hat{P}(c) = \frac{|D_c|+1}{|D|+N}
$$

$$
\hat{P}(x_i|c) = \frac{|D_{c,x_i}|+1}{|D_c|+N_i}
$$

已知数据集

颜色	响声	甜度	好瓜
青绿	浑浊	不甜	不是
青绿	浑浊	不甜	不是
青绿	清脆	甜	是
青绿	浑浊	不甜	不是
深绿	清脆	甜	是
深绿	浑浊	甜	是
深绿	浑浊	不甜	是
深绿	清脆	甜	是
深绿	清脆	甜	是

此时
$$
P(颜色=深绿|不是好瓜) = \frac{0}{3} = 0
$$
这将导致分类计算结果为 0. 进行拉普拉斯修正
$$
\hat{P}(颜色=深绿|不是好瓜) = \frac{0 + 1}{3+3} = \frac{1}{6}
$$
这种平滑化处理就避免了分类结果为 0 的情况。