机器学习之朴素贝叶斯实现与应用

朴素贝叶斯

• 一名叫做lh的同学买西瓜。

• 卖西瓜的老板bjy告诉lh说：“我的瓜起码60%都是熟瓜。”

  • 先验概率是根据以往的经验得到的，其不受任何条件的影响，只根据常识

• 此时，又有一位不讲武德的小同志ccz也来买瓜，ccz有一手看瓜绝活，他能通过观察瓜蒂是否脱落判断瓜是否是熟瓜。

  • 后验概率：若将瓜蒂脱落当作一种结果，去推测西瓜成熟的概率，这个概率被称之为后验概率

• 小同志ccz购买西瓜，瓜蒂脱落且成熟，就相当于可以计算联合概率

  • \(P(瓜熟，瓜蒂脱落) = P(瓜熟|瓜蒂脱落) * P(瓜蒂脱落)\)
  • \(P(瓜熟，瓜蒂脱落) = P(瓜蒂脱落|瓜熟) * P(瓜熟)\)
  • ==> \(P(瓜熟|瓜蒂脱落) * P(瓜蒂脱落) = P(瓜蒂脱落|瓜熟) * P(瓜熟)\)
  • ==> \(P(瓜熟|瓜蒂脱落) = P(瓜蒂脱落|瓜熟) * P(瓜熟) / P(瓜蒂脱落)\)

重点就是计算 P(瓜蒂脱落)

而由全概率公式得到： * P(瓜蒂脱落)=P(瓜蒂脱落|瓜熟)P(瓜熟)+P(瓜蒂脱落|瓜生)P(瓜生)

ccz一定要买一个熟瓜，他在网上一查发现瓜是否为熟瓜不是一个原因决定 * \(P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}\) * 其中y有\(1，2\)两种取值 * 不同特征两者相互独立

朴素贝叶斯算法流程

• 第一步：设\(X=\{a_1,a_2,a_3,\ldots,a_n\}\)为预测数据，其中\(a_i\)是预测数据的特征值。
• 第二步：设\(Y=\{y_1,y_2,y_3,\ldots,y_m\}\)为类别集合。
• 第三步：计算$P(y_1x) ,P(y_2x) ,P(y_3x) ,,P(y_mx) $
• 第四步：寻找\(P(y_1\mid x) ,P(y_2\mid x) ,P(y_3\mid x) ,\ldots,P(y_m\mid x) 。\)中的最大概率\(P(y_k\mid x)\)则x属于类别\(y_k\)