FINAL TRACK 3 · PROOF ENGINE
回归看起来公式最多,其实证明几乎都从同一个表示开始: 是 的线性组合。把三个权重恒等式吃透,HW5、Packet 8 与 practice Q3 会收束成一条路。
不是背五个 variance;是每次从权重性质重新推出。
01 · MODEL IN LAYERS
、、误差互相独立、 固定。
足够推出:LSE 无偏、variance 公式、Gauss–Markov/BLUE。
。
才可推出:精确正态、/ 分布、CI 与检验、零协方差 ⇒ 独立。
Page 1 找模型、假设、wᵢ;Page 2 找推断、practice Q3、ANOVA 与作答骨架。
01.5 · SEE THE LINE BEFORE THE ALGEBRA
想象每个学生是图上的一个点:横坐标 是复习小时数,纵坐标 是考试分数。同样复习 5 小时的人不可能都考完全相同的分数,所以点会围着一条线上下散开。
02 · THE WEIGHT TRICK
先定义三个中心化和:
因为 ,斜率可以改写为:
中心化偏差相加为零。
把 拆开。
平方后分子正好是 。
02.5 · THREE POINTS MAKE THE WEIGHTS VISIBLE
设 。先算中心 ,再算
因此三个权重是
所以斜率立刻变成 。中间点的权重恰好为 0:它在 x 的正中心,主要告诉我们直线的高度,并不告诉我们直线向左还是向右倾斜。
检查 :给所有 Y 都加同一个常数 c,新增部分是 ,斜率不变。
检查 :真正的线性趋势 经过加权后,正好留下一个 。
检查 :独立误差的 variance 相加时,平方权重决定总噪声。
03 · THREE PROOFS, ONE ENGINE
看起来吓人,其实只是“把平均里的每个 ,和斜率里的每个 两两配对”。当 ,两位不同学生的独立误差 covariance 为 0;只剩 的对角配对。最后又因为 ,总和归零。
没有任何一步用到 Normal。只用了 mean model 与权重性质。
一定用不同下标
当
先用
交叉项消失,正是因为上一问证了
先用双线性证明
04 · PRACTICE EXAM Q3
关键只有
为什么回归的 error df 是 n−2?
05 · MLE, MSE, AND T/F
来自对 Normal likelihood 求导。它有偏。
因为
正态误差下:
考试若问证明,先去 Page 1 的 wᵢ;若问分布,再到 Page 2 找 t statistic。
“Normal regression 中 variance 的 MLE 总是无偏。”
“Normal error 下 β̂₁ 是精确正态,而不仅是渐近正态。”
06 · TARGETED DRILLS
这是后面
这是既没进 HW 又没进 practice 的唯一 Packet 8 练习,风险很高。
最后一句“joint Normal, hence uncorrelated implies independent”必须写。
完整展开
不做数值。只回答:Normal error 让 LSE 成 MLE;
07 · MASTERY GATE
这四行是所有证明的最短入口:线性组合 → wᵢ 性质 → 双线性拆 covariance → joint Normal 负责独立。