条件分布与独立性

1 . 2-4: 条件分布与独立性 张伟平 课件 http://staff.ustc.edu.cn/~zwp/ 论坛 http://fisher.stat.ustc.edu.cn 

2 .第二章随机变量及其分布 2.4 条件分布和随机变量的独立性 . . . . . . . . . 1 2.4.1 条件分布 . . . . . . . . . . . . . . . . 1 2.4.2 随机变量的独立性 . . . . . . . . . . . 10 Previous Next First Last Back Forward 1 

3 . 2.4 条件分布和随机变量的独立性 2.4.1 条件分布 一个随机变量 (或向量) 的条件概率分布，就是在给定 (或已知) 某种条件 (某种信息) 下该随机变量 (向量) 的概率分布。 1. 离散型随机变量的条件分布 设 (X, Y ) 为二维离散型随机变量，其全部的可能取值为 {(xi , yj ) : i, j = 1, 2, · · · }。记其联合分布律为 pij = P (X = xi , Y = yj ), i, j = 1, 2, · · · 若对给定的事件 {Y = yj }，其概率 P (Y = yj ) > 0，则称 P (X = xi , Y = yj ) pij P (X = xi |Y = yj ) = = , i = 1, 2, · · · P (Y = yj ) p·j Previous Next First Last Back Forward 1 

4 .为在给定 Y = yj 的条件下 X 的条件分布律 (概率函数)。类似的， 若 P (X = xi ) > 0，则称 P (X = xi , Y = yj ) pij P (Y = yj |X = xi ) = = , j = 1, 2, · · · P (X = xi ) pi· 为在给定条件 X = xi 下 Y 的条件分布律。 Previous Next First Last Back Forward 2 

5 . ↑Example 设二维随机向量 (X1 , X2 ) 的联合分布律如下所示： ❍❍ X ❍❍ 2 −1 0 5 行和 pi· X1 ❍❍ 1 0.17 0.05 0.21 0.43 3 0.04 0.28 0.25 0.57 列和 p·j 0.21 0.33 0.46 1.00 试求当 X2 = 0 时，X1 的条件分布律。 ↓Example 解: 由联合分布律先算出两个边缘分布律 pi· 与 p·j 并填入表中，由 此进一步算出条件分布律为： 0.05 5 P {X1 = 1|X2 = 0} = = 0.33 33 0.28 28 而 P {X1 = 3|X2 = 0} = = . 0.33 33 Previous Next First Last Back Forward 3 

6 . ↑Example 设 X = (X1 , X2 , · · · , Xn ) ∼ M (N ; p1 , p2 , . . . , pn )，试求 X1 在 给定 X2 = k 的条件下的条件分布律。 ↓Example 解： 由于易知 (X1 , X2 ) ∼ M (N ; p1 , p2 , 1 − p1 − p2 )，即其联合分 布律为 N! P (X1 = i, X2 = j) = pi1 pj2 (1 − p1 − p2 )N −i−j i!j!(N − i − j)! 其中 0 ≤ i, j ≤ N & 0 ≤ i + j ≤ N 并且 X2 ∼ B(N, p2 ). 因此 P (X1 = i, X2 = k) P (X1 = i|X2 = k) = P (X2 = k) N! / = p1 p2 (1 − p1 − p2 )N −i−k CN i k p2 (1 − p2 )N −k k k i!k!(N − i − k)! ( )i ( )N −k−i (N − k)! p1 p1 = 1− , i = 0, 1, · · · , N − k. i!(N − k − i)! 1 − p2 1 − p2 Previous Next First Last Back Forward 4 

7 .即 X1 在给定 X2 = k 的条件下服从二项分布 B(N − k, p1 /(1 − p2 )). Previous Next First Last Back Forward 5 

8 .2. 连续型随机变量的条件分布 设 (X, Y ) 有概率密度 f (x, y)，我们考虑在给定 y ≤ Y ≤ y + ϵ 的条件下 X 的条件分布函数 (设P {y ≤ Y ≤ y + ϵ} > 0) P (X ≤ x, y ≤ Y ≤ y + ϵ) P (X ≤ x|y ≤ Y ≤ y + ϵ) = P (y ≤ Y ≤ y + ϵ) ∫ x ∫ y+ϵ /∫ y+ϵ = f (u, v)dvdu fY (y)dy −∞ y y ∫ ∫ y+ϵ x y f (u, v)dv = ∫ y+ϵ du −∞ y fY (y)dy 对上式两端关于 x 求导并令 ϵ → 0, 可求得 X 在给定条件 Y = y 下 的条件概率密度为 f (x, y) fX|Y (x|y) = , fY (y) > 0. fY (y) 记为 X|Y = y ∼ fX|Y (x|y). Previous Next First Last Back Forward 6 

9 .类似地有 Y 在给定 X = x 的条件下的条件概率密度: f (x, y) fY |X (y|x) = , fX (x) > 0. fX (x) 记为 Y |X = x ∼ fY |X (y|x). Previous Next First Last Back Forward 7 

10 . ↑Example 设 (X, Y ) 服从二元正态分布 N (a, b, σ12 , σ22 , ρ)，试求 X|Y = y 的条件概率密度。 ↓Example 解: f (x, y) fX|Y (x|y) = fY (y) 1 [x − (a + ρσ1 σ2−1 (y − b))]2 = √ √ exp{− } 2πσ1 1 − ρ2 2σ12 (1 − ρ2 ) 即 X|Y = y ∼ N (a + ρσ1 σ2−1 (y − b), σ12 (1 − ρ2 ))。同理有：Y |X = x ∼ N (b + ρσ1−1 σ2 (x − a), σ22 (1 − ρ2 ))。 Previous Next First Last Back Forward 8 

11 . ↑Example 设 X, Y 服从单位圆上的均匀分布，试求 fX|Y (x|y) 和 fY |X (y|x). ↓Example 解: 由题设知 (X, Y ) 的联合概率密度为 { 1 π , x2 + y 2 ≤ 1 f (x, y) = 0, 其它 易知 { √ 2 π 1 − x2 , −1 ≤ x ≤ 1 fX (x) = 0, 其它 所以  √ √  √1 , − 1 − y2 ≤ x ≤ 1 − y2 fX|Y (x|y) = 2 1−y 2  0, 其它 只需要把 x, y 互换，就可以得到 fY |X (y|x)。 Previous Next First Last Back Forward 9 

12 .3. 更一般情形 无论离散型还是连续型条件分布，上述 (X, Y ) 中的 X 和 Y 皆可推广到高维。例如: 设 (X1 , X2 , · · · , Xn ) ∼ f (x1 , x2 , . . . , xn )， 且 (X1 , · · · , Xk ) ∼ g(x1 , . . . , xk )，则 可 定 义 在 (X1 , · · · , Xk ) = (x1 , . . . , xk ) 的条件下，(Xk+1 , · · · , Xn ) 的条件密度为： f (x1 , . . . , xn ) h(xk+1 , . . . , xn |x1 , . . . , xk ) = , 其中 g(x1 , . . . , xk ) > 0. g(x1 , . . . , xk ) 注: 若记 (X1 , · · · , Xk ) = X，(Xk+1 , · · · , Xn ) = Y ，(x1 , . . . , xk ) = x，(xk+1 , . . . , xn ) = y，则上式还可表示为: f (x, y) h(y|x) = , g(x) > 0 g(x) 2.4.2 随机变量的独立性 直观地, 若条件分布等于无条件分布，或者说条件分布与 “条件” 无关，例如，设 fX|Y (x|y) = g(x)，则可推出 g(x) = f1 (x)，从而得 Previous Next First Last Back Forward 10 

13 .到： f (x, y) = f1 (x)f2 (y), (x, y) ∈ R2 此时我们称 X 与 Y 是 (相互) 独立的。若随机变量 X, Y 相互独立, 那么对任何区域 A, B, 应该有 P (X ∈ A, Y ∈ B) = P (X ∈ A)P (Y ∈ B) 从而对任意 n 个随机变量 X1 , . . . , Xn , 可以通过如下方式定义独立 性: 称随机变量 X1 , . . . , Xn 相互独立, 如果对任意的实数区间 A1 , . . . , An 都有 Definition P (X1 ∈ A1 , . . . , Xn ∈ An ) = P (X1 ∈ A1 ) · · · P (Xn ∈ An ) Previous Next First Last Back Forward 11 

14 . 在离散型场合： 称离散型随机变量 X1 , · · · , Xn 相互独立，若它们的联合分 布律等于各自的边缘分布律的乘积，即 P (X1 = x1 , . . . , Xn = xn ) = P (X1 = x1 ) · · · P (Xn = xn ), Definition 其中 (x1 , . . . , xn ) 为 (X1 , X2 , · · · , Xn ) 的值域中的任意一 点. Previous Next First Last Back Forward 12 

15 . 连续型场合: 称连续型随机变量 X1 , · · · , Xn 相互独立，若它们的联合密 度等于各自的边缘密度的乘积，即 Definition f (x1 , . . . , xn ) = f1 (x1 ) · · · fn (xn ), ∀ (x1 , . . . , xn ) ∈ Rn Previous Next First Last Back Forward 13 

16 . 一般的, 随机变量之间的独立性可以通过分布函数来刻画: 设 X1 , · · · , Xn 为 n 个随机变量，如果它们的联合分布函数 等于各自边缘分布函数的乘积，即 Definition F (x1 , · · · , xn ) = F1 (x1 ) · · · Fn (xn ), ∀ (x1 , x2 , . . . , xn ) ∈ Rn 则称随机变量 X1 , · · · , Xn 相互独立. 在 离 散 型 和 连 续 型 两 种 情 况 下, 可 以 证 明 本 定 义 分 别 与 定 义2.4.2和定义2.4.2等价. Previous Next First Last Back Forward 14 

17 . ↑Example 如果随机变量 X1 , · · · , Xn 相互独立，则容易证明其中任何一部 分随机变量也相互独立. 然而一般来说, 仅由某一部分独立却无法推 出 X1 , · · · , Xn 相互独立. 如见下例: ↓Example ↑Example 若 ξ, η 相互独立, 都服从 -1 和 1 这两点上的等可能分布，而 ζ = ξη。则 ζ, ξ, η 两两独立但不相互独立。 ↓Example Previous Next First Last Back Forward 15 

18 . ↑Example 设 (X, Y ) ∼ N (a, b, σ12 , σ22 , ρ)，则 X 与 Y 相互独立的充要条件 是 ρ = 0。 ↓Example ↑Example 设 (X, Y ) 服从矩形 D = [a, b] × [c, d] 上的均匀分布，则 X 与 Y 相互独立。 ↓Example ↑Example 设 (X, Y ) 服从单位圆上的均匀分布，则 X 与 Y 不独立。 ↓Example Previous Next First Last Back Forward 16 

19 . ↑Example 设有 n 个事件：A1 , A2 , · · · , An ，对于每个事件 Ai ，定义：Xi = IAi (Ai 的示性函数 ), i = 1, 2, · · · , n，则可证明：A1 ,A2 , · · · , An 独立 ⇐⇒ X1 , X2 , · · · , Xn 独立。 ↓Example Previous Next First Last Back Forward 17