概率论与数理统计复习资料

(1) 取 \(A_i=\varnothing\) 互不相容，可列可加性给 \(P(\varnothing)=P(\varnothing)+P(\varnothing)+\cdots\)，故 \(P(\varnothing)=0\)。

(3) \(A\cup A^c=\Omega\) 且不相容：\(P(A)+P(A^c)=1\)。

(4) \(B=A\cup(B\setminus A)\) 且不相容，故 \(P(B)=P(A)+P(B\setminus A)\ge P(A)\)。

(5) \(A\cup B=A\cup(B\setminus AB)\)，且 \(B=(AB)\cup(B\setminus A)\) 不相容：\(P(B)=P(AB)+P(B\setminus A)\)。代入 \(P(A\cup B)=P(A)+P(B)-P(AB)\)。三事件用两次二事件公式归纳。

全概率：\(A=A\cap\Omega=A\cap(\bigcup_i B_i)=\bigcup_i(AB_i)\)，各项两两不相容，由可列可加性 \(P(A)=\sum_i P(AB_i)=\sum_i P(B_i)P(A\mid B_i)\)（乘法公式）。

贝叶斯：由条件概率定义 \(P(B_j\mid A)=\frac{P(B_jA)}{P(A)}\)，分子用乘法公式、分母用全概率公式，即得。

样本空间等可能，\(P(A_i)=\frac{2}{4}=\frac12\)。两两交集：\(A_1\cap A_2=\{1\}\)，\(P(A_1A_2)=\frac14=P(A_1)P(A_2)\)，其余两对同理——两两独立成立。三交集：\(A_1A_2A_3=\{1\}\)，\(P=\frac14\)，而 \(\prod_iP(A_i)=\frac18\ne\frac14\)——不满足相互独立的"全体公式"，故三者不相互独立。

设 \(g\) 严格递增、可微，\(h=g^{-1}\)。\(F_Y(y)=P(Y\le y)=P(X\le h(y))=F_X(h(y))\)。两边对 \(y\) 求导（链式法则）：\(f_Y(y)=f_X(h(y))\cdot h'(y)\)。递减时 \(F_Y(y)=P(X\ge h(y))=1-F_X(h(y))\)，求导得 \(f_Y(y)=-f_X(h(y))h'(y)\)。两情形合并即 \(f_Y=f_X(h)|h'|\)。非单调时把定义域按单调区间分段后相加（分布函数法更通用）。

⟸：若联合密度可分离 \(f(x,y)=f_X(x)f_Y(y)\)，则对任意矩形 \(A\times B\)：\(P(X\in A,Y\in B)=\int_A\int_B f_X(x)f_Y(y)\,\mathrm{d}y\,\mathrm{d}x=P(X\in A)P(Y\in B)\)。由矩形生成 \(\sigma\)-代数（Caratheodory 扩张），对一切 Borel 集成立，故独立。

⟹：若独立，由定义 \(F=F_XF_Y\)；连续型时混合偏导 \(\frac{\partial^2F}{\partial x\partial y}=f_X(x)f_Y(y)\)（几乎处处）为联合密度。

\(F_{X+Y}(z)=P(X+Y\le z)=\iint_{x+y\le z}f_X(x)f_Y(y)\,\mathrm{d}x\,\mathrm{d}y\)（独立性把联合密度写成乘积）。内层对 \(y\) 积分、变量替换 \(t=x+y\)：

\(\int_{-\infty}^{\infty}f_X(x)\Big(\int_{-\infty}^{z-x}f_Y(y)\,\mathrm{d}y\Big)\,\mathrm{d}x=\int_{-\infty}^{\infty}f_X(x)F_Y(z-x)\,\mathrm{d}x\)。对 \(z\) 求导（Leibniz）：\(f_{X+Y}(z)=\int f_X(x)f_Y(z-x)\,\mathrm{d}x\)。

\(E(aX+bY+c)=\sum_{i,j}(ax_i+by_j+c)P(X=x_i,Y=y_j)\)（把 \(aX+bY+c\) 看作二维函数用 LOTUS 的离散版）

\(=a\sum_i x_i\sum_j p_{ij}+b\sum_j y_j\sum_i p_{ij}+c\sum_{i,j}p_{ij}=aEX+bEY+c\)。

独立性 ⟹ \(E(XY)\)：\(E(XY)=\sum_{i,j}x_iy_jp_ip_j=(\sum_i x_ip_i)(\sum_j y_jp_j)=EX\cdot EY\)。逆命题不成立（见 7.3 反例：\(Y=X^2\) 时可积不独立）。

对任意实数 \(t\)：\(0\le E[(tX-Y)^2]=t^2E X^2-2tE(XY)+E Y^2\) 是关于 \(t\) 的二次式恒非负，判别式 \(\le0\)：\((2E(XY))^2-4E X^2 E Y^2\le0\)，即 \(|E(XY)|\le\sqrt{E X^2}\sqrt{E Y^2}\)。

取 \(X-EX,\ Y-EY\) 代入得 \(|\mathrm{Cov}|\le\sqrt{\mathrm{Var}X\,\mathrm{Var}Y}\)，除以分母即 \(|\rho|\le1\)。等号条件：判别式 = 0 即 \(tX-Y=0\) 几乎必然，故线性相关。

(3) 独立性 ⟹ \(E e^{it(X+Y)}=E(e^{itX}e^{itY})=E e^{itX}\,E e^{itY}\)（期望乘积定理，定理 4.2(5)）。(4) 在 \(E|X|^k<\infty\) 与 \(t\) 的小邻域内对 \(\int e^{itx}\,\mathrm{d}F\) 作 \(k\) 次求导与积分交换（控制收敛），得 \(\varphi^{(k)}(t)=E[(ix)^k e^{itx}]\)，代 \(t=0\) 即 \(i^k E X^k\)。

(1) 唯一性由 Fourier 反演；这保证"特征函数相同 ⟹ 分布相同"——第 5 章 CLT 与第 6 章正态判定的关键工具。

先证 Markov 不等式：\(Y\ge0\) 且 \(EY<\infty\) ⟹ \(P(Y\ge\varepsilon)\le\frac{EY}{\varepsilon}\)。由指示函数 \(\mathbf 1_{\{Y\ge\varepsilon\}}\le Y/\varepsilon\)（逐点），两边取期望：\(P(Y\ge\varepsilon)\le EY/\varepsilon\)。

取 \(Y=(X-EX)^2\)（非负）：\(P((X-EX)^2\ge\varepsilon^2)\le\frac{E(X-EX)^2}{\varepsilon^2}=\frac{\mathrm{Var}X}{\varepsilon^2}\)，即 \(P(|X-EX|\ge\varepsilon)\le\frac{\mathrm{Var}X}{\varepsilon^2}\)。

\(\mathrm{Var}(\bar X_n)=\frac1{n^2}\sum_i\mathrm{Var}X_i\le\frac{C}{n}\to0\)（两两不相关 ⟹ 方差可加）。由 Chebyshev 不等式（定理 5.2）对 \(\bar X_n\) 应用：

\(P(|\bar X_n-E\bar X_n|\ge\varepsilon)\le\frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2}\le\frac{C}{n\varepsilon^2}\to0\)，即依概率收敛。Khinchin 版用截尾法 + 特征函数（或 Markov 不等式）替换方差估计，条件放宽到一阶矩。

设 \(Y_i=(X_i-\mu)/\sigma\)，\(E Y_i=0\)，\(\mathrm{Var}Y_i=1\)。特征函数展开（定理 4.6(4)）：\(\varphi_Y(t)=1-\frac{t^2}{2}+o(t^2)\)（二阶矩有限 ⟹ 余项小）。标准化和 \(S_n=\frac1{\sqrt n}\sum Y_i\) 的特征函数（独立 ⟹ 乘积）：

\(\varphi_{S_n}(t)=[\varphi_Y(t/\sqrt n)]^n=\Big[1-\frac{t^2}{2n}+o(\frac{t^2}{n})\Big]^n\to e^{-t^2/2}\)。

由连续性定理（特征函数收敛 ⟹ 分布收敛）与 \(e^{-t^2/2}\) 是 \(N(0,1)\) 的特征函数，得 \(S_n\xrightarrow{d}N(0,1)\)。

先算 \(\sum_i(X_i-\bar X)^2=\sum_i X_i^2-n\bar X^2\)（展开交叉项消去）。取期望：

\(E\sum_i(X_i-\bar X)^2=\sum_i E X_i^2-nE\bar X^2\)。其中 \(EX_i^2=\sigma^2+\mu^2\)，\(E\bar X^2=\mathrm{Var}(\bar X)+(E\bar X)^2=\sigma^2/n+\mu^2\)。

代入：\(=n(\sigma^2+\mu^2)-n(\sigma^2/n+\mu^2)=(n-1)\sigma^2\)。故 \(E S^2=\frac{1}{n-1}(n-1)\sigma^2=\sigma^2\)，无偏。

(1) 正态的线性组合仍正态（再生性，定理 3.4），\(E\bar X=\mu,\ \mathrm{Var}=\sigma^2/n\)。

(2)(3) 作正交变换（Helmert 变换）\(Y=QX\)：取正交阵 \(Q\) 使首行 \(\propto(1,\dots,1)\)，则 \(Y_1=\sqrt n\bar X\)，其余 \(Y_2,\dots,Y_n\) 独立同 \(N(0,\sigma^2)\) 且与 \(Y_1\) 独立（正交变换保持独立正态）。而 \(\sum(X_i-\bar X)^2=\sum_{i=2}^{n}Y_i^2\)，故除以 \(\sigma^2\) 后 \(\sim\chi^2(n-1)\)，且与 \(\bar X\)（即 \(Y_1\)）独立。

(4) 由 (1)(2)(3) 与 \(t\) 分布定义（\(Z=\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1)\) 与 \(\chi^2\) 独立）。

得分函数 \(S_n(\theta)=\frac{\partial\ln L}{\partial\theta}=\sum_i\frac{\partial\ln f(X_i;\theta)}{\partial\theta}\)。由矩性质，\(E S_n(\theta)=0\)，\(\mathrm{Var}S_n(\theta)=n I(\theta)\)（Fisher 信息，\(I(\theta)=E(\frac{\partial\ln f}{\partial\theta})^2=-E\frac{\partial^2\ln f}{\partial\theta^2}\)）。

由 CLT，\(S_n(\theta)/\sqrt{nI(\theta)}\xrightarrow{d}N(0,1)\)。对 \(\ell'(\hat\theta)=0\) 在真值 \(\theta\) 处 Taylor 展开（中值定理）：\(0=\ell'(\theta)+\ell''(\theta^*)(\hat\theta-\theta)\)，即 \(\sqrt n(\hat\theta-\theta)=-\frac{\ell'(\theta)/\sqrt n}{\ell''(\theta^*)/n}\)。分子依分布收敛 \(N(0,I(\theta))\)、分母依概率收敛于 \(-I(\theta)\)，Slutsky 定理 ⟹ \(\sqrt n(\hat\theta-\theta)\xrightarrow{d}N(0,I^{-1}(\theta))\)。

设任意水平 \(\alpha\) 的检验函数 \(\phi(x)\in[0,1]\)（拒绝概率），似然比检验 \(\phi^*(x)=\mathbf1\{L(\theta_1)/L(\theta_0)>k\}+\gamma\mathbf1\{\cdot=k\}\)（随机化处理等号）。

关键不等式：对任意 \(\phi\)，\((L_1-L_0)(\phi^*-\phi)\ge0\) 逐点成立（\(\phi^*=1\) 处 \(L_1>kL_0\)，\(\phi^*=0\) 处 \(L_1

\(\int\phi^*L_1-\int\phi L_1\ge k\big(\int\phi^*L_0-\int\phi L_0\big)\ge k(\alpha-\alpha)=0\)（\(\phi^*\) 水平 \(\alpha\) 而 \(\phi\) 水平 \(\le\alpha\)）。故 \(\int\phi^*L_1\ge\int\phi L_1\)，即 \(\phi^*\) 功效不小于任何水平 \(\alpha\) 检验——最优势。