从零开始学AI19——贝叶斯公式

贝叶斯主义超越数学公式是一种认识世界的哲学它认为概率是信念的度量而非客观常数。与频率派“上帝视角”不同贝叶斯强调人类在信息不全下通过先验、证据不断更新认知这正是学习、决策与AI的核心逻辑。从医生诊断到大模型生成皆为贝叶斯推断的体现。其底层支撑——PMF、PDF、均值、方差与i.i.d.假设——共同构建了机器学习的基石揭示了我们如何以有限经验逼近无限真理。当我们跳出“垃圾邮件分类”这种具体算法的框框上升到世界观的层面时贝叶斯主义Bayesianism就不再仅仅是一个数学公式而是一种认识世界的哲学体系。它与我们熟知的“频率学派”Frequentist构成了统计学乃至科学哲学的一对根本对立。以下是对你这一观点的深度引申与解析1. 世界观的碰撞频率派 vs 贝叶斯派频率派上帝视角核心信仰世界是确定的。观点真理参数是一个固定的常数只是我们不知道。我们通过无数次实验抽样来逼近这个真理。比如抛硬币。硬币正面朝上的概率 pp 是一个客观存在的物理常数比如 0.5。只要你抛得足够多频率就会无限接近这个 0.5。缺陷我们永远无法拥有“上帝视角”去做无穷次实验。贝叶斯派人类视角/主观视角核心信仰世界是不确定的或者是我们认知的状态是不确定的。观点概率不是物理属性而是我们对信念的度量Degree of Belief。真理参数本身就是一个随机变量它随着我们掌握信息的多少而变化。比如抛硬币。在没抛之前我认为 pp 可能是 0.5先验。抛了一次是正面我就修正我的看法觉得 pp 可能是 0.6后验。如果再抛一百次都是正面我就坚信 pp 接近 1.0新的后验。2. 人类的认知过程就是贝叶斯更新你提到“从本地视角推算上帝视角”这极其精准地描述了人类学习的过程。贝叶斯公式的哲学版后验知识 (New Belief)∝似然 (Evidence)×先验知识 (Prior Belief)后验知识 (New Belief)∝似然 (Evidence)×先验知识 (Prior Belief)先验 (Prior)我们的成见、经验、直觉。例子你看到远处走来一个人看着像你朋友。你的先验概率是 50%。似然 (Likelihood/Observation)我们当下的观察、数据、新证据。例子那个人走进了一点你发现他走路姿势很像你朋友。这是新证据。后验 (Posterior)结合新证据后修正后的新认知。例子现在你觉得那是你朋友的概率上升到了 90%。生活中的贝叶斯医生看病医生并不是一眼看到病理上帝视角而是基于“病人发烧”观察结合“最近流感爆发”先验推断“是流感”后验。创业投资投资人不是知道你会成功真理而是基于“团队背景”先验观察“用户增长数据”似然不断调整对这家公司的估值后验。AI 训练现在的 LLM大语言模型其实也在做类似的事。预训练给了它庞大的世界知识先验你的 Prompt 是新输入观察它生成最合理的回答后验。3. 引申出的各种解法与哲学这种思想衍生出了无数解决复杂问题的方法论卡尔曼滤波 (Kalman Filter)飞船在太空中飞传感器有噪声观察不准物理模型有误差先验不准。怎么办贝叶斯解法把不准的预测和不准的观测结合起来得到一个最准的估计。这是阿波罗登月的核心技术。粒子滤波 / 蒙特卡洛方法 (MCMC)当问题太复杂算不出精确解时。贝叶斯解法我们撒一把“粒子”随机采样去模拟。通过观察这些粒子的分布去反推那个未知的上帝视角分布。奥卡姆剃刀 (Occams Razor)在贝叶斯模型比较中复杂的模型会有更大的惩罚。这在数学上自动实现了“如无必要勿增实体”的哲学原则。休谟问题 (Humes Problem of Induction)哲学上的归纳难题昨天太阳升起凭什么明天太阳也会升起贝叶斯回答我们永远无法 100% 确定明天太阳会升起。但基于过去几十亿年的“观察”我们的“后验概率”无限接近于 1。这就是我们生活的基石——不必追求绝对真理只需追求足够可信的信念。总结从这个角度看贝叶斯不仅是一个公式它是人类在信息不完备的世界中生存的底层逻辑。我们每个人都是一个贝叶斯推断机。我们带着偏见先验来到这个世界不断碰撞现实似然在一生中不断修正自己的三观后验试图去逼近那个永远不可知的上帝视角真理。概率论与数理统计中最底层的“积木”理解了它们你才能真正看懂朴素贝叶斯以及大多数机器学习算法背后的数学原理。我们将它们分为两组一组描述离散世界数人头一组描述连续世界量身高。第一组描述“离散变量”比如掷骰子、抛硬币1. 概率函数 (Probability Mass Function, PMF)定义它直接告诉你某个具体事件发生的概率值。符号P(Xx)P(Xx)例子掷骰子。P(X1)1/6P(X1)1/6P(X6)1/6P(X6)1/6特点所有可能性的概率加起来必须等于1。第二组描述“连续变量”比如身高、温度、时间2. 概率密度函数 (Probability Density Function, PDF)定义这是一个最容易被误解的概念。对于连续变量比如身高你问“身高正好是 170.000...00 cm 的概率是多少”答案是0。因为在数轴上单独的一个点是没有长度的。所以我们不看单点的概率我们要看**“密度”**。直观理解想象一堆沙子堆成的小山形状。山顶越高说明沙子数据越集中。虽然单颗沙子单点没意义但一段区间比如 169cm 到 171cm下面的面积代表了概率。公式关联高斯朴素贝叶斯用的就是高斯分布的 PDFf(x)12πσexp⁡(−(x−μ)22σ2)f(x)2π​σ1​exp(−2σ2(x−μ)2​)(看起来很吓人其实就是那条钟形曲线的数学表达式)3. 联合概率密度函数 (Joint PDF)定义描述两个或多个连续变量同时发生的概率密度。直观理解单变量 PDF 是二维平面上的一条曲线。双变量联合 PDF 就是三维空间里的一座山。比如同时考虑身高体重。山峰最高的地方就是170cm, 65kg这种最常见身材的人群。第三组描述数据的“长相”与“关系”4. 均值 (Mean / Expectation, μμ 或 E[X]E[X])定义数据的中心位置。人话大家平均水平是多少作用在高斯分布中均值决定了钟形曲线最高点的位置是在 0 的位置还是在 100 的位置。5. 方差 (Variance, σ2σ2 或 Var(X)Var(X))定义数据的离散程度。人话大家发挥得稳不稳方差小 →→ 数据都挤在一起尖瘦的钟形。方差大 →→ 数据铺得很开矮胖的钟形。作用在朴素贝叶斯中方差决定了模型对“异常值”的容忍度。6. 独立同分布 (Independent and Identically Distributed, i.i.d.)这是一个在机器学习推导中无处不在的最强假设。它包含两层意思独立 (Independent)人话昨天的我不影响今天的你。例子第一次抛硬币的结果完全不影响第二次抛硬币的结果。反例今天下雨明天下雨的概率就会变大这是相关不独立。同分布 (Identically Distributed)人话我们都是从同一个模子里刻出来的。例子无论是训练集的数据还是测试集的数据它们都来自同一个真实世界遵循同样的客观规律比如都是中国人身高分布规律是一样的。为什么 i.i.d. 这么重要如果数据不是 i.i.d.比如训练集全是小孩测试集全是大人那模型训练出来的规律小孩的身高规律在测试集上就完全失效了。总结一张表概念关键词适用场景PMF点的概率离散掷骰子、文本词频PDF曲线下的面积连续身高、温度均值中心决定位置方差胖瘦决定波动范围i.i.d.互不干扰同宗同源机器学习可行性的基石在朴素贝叶斯里多项式 NB用的是PMF数个数。高斯 NB用的是PDF算密度并且用到了均值和方差来确定那个高斯分布的形状。整个算法之所以能工作是因为我们假设了特征之间是独立的。