FINAL TRACK 4 · LONGEST DERIVATION
Bayes factor 不问“一个参数最可能是多少”,而问“整套模型生成这批数据的能力有多强”。Practice Q1 与 HW4 Q1 同型;真正难点只有两个:复合模型要把参数积分掉,以及全程不能写 。
这是两个完整概率的比,不是两个“差一个常数”的 kernel。
01 · MODEL EVIDENCE
给两台机器同一批数据 :
机器只有一个设定 。模型证据就是 likelihood 在该点的高度。
每个参数设定按 prior 权重投票,把所有可能的 likelihood 平均起来。
BF 只负责数据带来的更新;posterior odds 还要乘 prior odds。若模型先验相等,则 。
先用后验公式回忆 prior × likelihood;随后立刻切换纪律:求 posterior 可用 ∝,求 BF 不可用。
01.5 · TWO MODELS, TWO PREDICTION MACHINES
把模型想成两台在看数据之前就必须下注的机器。机器 给这批数据一个预测概率,机器 也给一个。Bayes factor 只是两张下注收据相除:
:硬币固定公平,。因此特定顺序 HHT 的概率为 。
:不知道 p,在 0 到 1 之间给每个 p 同等 prior 权重。给定某个 p,HHT 的 likelihood 是 ;整台机器的证据要把所有可能 p 的表现平均:
所以 。数据对公平硬币只有很弱的优势。
02 · THREE NON-NEGOTIABLE RULES
丢掉的常数可能依赖模型;两个模型各丢一次,比例就被改写。
必须积分为 1。Improper prior 的任意比例常数会污染模型证据。
它们即使与 无关,仍属于 ;很多会在最终比值中约掉,但必须先带到那里。
为什么后验推导常写 ∝,而 BF 不行?
02.5 · WHY THE SQUARE DECOMPOSITION WORKS
数据为 2、4、6,样本平均 。若候选总体均值是 ,直接算总平方距离:
同一件事可以拆成两笔账:
第一笔 8 不随
只有钟形外观的 exponential 还不是 PDF,因为它下面的总面积不一定是 1。我们同时乘、除同一个 normalization constant:括号内补成面积为 1 的 Normal density,倒数留在括号外。就像把“没有单位刻度的钟形曲线”补成合法概率尺;外面的常数是你为换尺付出的价格,绝不能丢。
03 · THE NORMAL PIPELINE
设
它把“样本内部散布”与“样本中心离参数多远”分开。前一项与
积分里的第一个 exponential 长得像 Normal density,但缺 normalization constant。把它补成
方括号里才是完整 density;前面的
令
绿色提示正好对应三步:平方和分解 → 提出无关项 → 乘 1 补 PDF → 认边际。考试不要只抄最后绿框。
04 · THREE VARIANTS
两个都固定,不用积分。
复合 H₁ 用 Beta kernel。
与 y 无关。
Packet 6 §6.2 Q1 的复合 H₁ 用 Gamma prior。先把 likelihood 与 prior 的 powers 和 exponential rates 合并,再用 Gamma integral:
05 · INTERPRETATION
| B₀₁ | 数据更支持 | 写法 |
|---|---|---|
| > 1 | M₀ | 数据在 M₀ 下是 B 倍更可能 |
| < 1 | M₁ | 看 |
| = 1 | 都不偏 | 数据没有改变两模型的相对 odds |
课堂量表按 note sheet:1–3 barely worth mentioning;3–20 positive;20–150 strong;>150 very strong。范围文件标注该量表需与课堂笔记核对,考试若题目给量表,以题目为准。
若 B₀₁=0.2,最准确的方向解读是?
06 · TARGETED DRILLS
第一次跟着完整答案写;第二次遮住答案,只保留平方和分解与题目 hint。禁止使用捷径 BF 公式起步。
题型与 HW4 Q1 相同。把数字全部换成
目标不是算数,而是会保留 Poisson factorial 常数、合并 Gamma kernel、用完整 Gamma integral。
Ex19 Bernoulli + Uniform;Ex20 simple vs simple;Ex21 one-sided prior normalization。每题只写模型证据设定。
07 · MASTERY GATE
用六个动词检查:写模型 → 写 M₀ → 分解 → 提出 → 乘 1 → 认边际 → 比值 → 业务解释。