概率

1.随机变量

1.1 离散随机变量

比如扔一个质地均匀的色子，产生的结果就是一个离散随机变量， $X = {1, 2, 3, 4, 5, 6}$ ，离散随机变量中的每一个可能的值 $x_{i}$ 都对应一个概率 $p_{i}$ ，对于扔色子这个例子， $p_{i} = 1 / 6$ ,所有离散随机数值 $x_{i}$ 的概率之和为 $\sum p_{i} = 1$

1.2 连续随机变量

计算机中产生一个[0,1]之间的随机函数rand()，在不考虑浮点数精度时，就是一个连续的随机变量 $X$

2. 概率分布函数(CDF)

2.1 定义

衡量一个随机数的概率分布规律的两个重要函数，概率分布函数(cumulative distribution function)用来定义概率累计的结果

F_{X} (x) = P (X ⩽ x)

其中函数 $P$ 表示某事件发生的概率，也就是说 $F_{X} (x)$ 表示随机变量 $X$ 小于 $x$ 的概率

2.2 举例

比如对于一个在[a,b]之间概率均匀分布的随机变量 $X$

F_{X} (x) = {\begin{cases} 0 & x < a \\ \frac{x - a}{b - a} & a ⩽ x < b \\ 1 & b ⩽ x \end{cases}

特别的，一个在[0,1]之间均匀分布的随机变量 $U$ 的概率分布函数

F_{U} (x) = {\begin{cases} 0 & x < 0 \\ x & 0 ⩽ x < 1 \\ 1 & 1 ⩽ x \end{cases}

2.3 特性

$0 \leq F (x) \leq 1$
$F_{X} (x)$ 为单调上升的右连续函数
$lim_{x \to - \infty} F (x) = 0, lim_{x \to + \infty} F (x) = 1$
$P (a < x ⩽ b) = F (b) - F (a)$

3. 概率密度函数(PDF)

3.1 定义

对于连续性随机变量，其概率分布函数 $F_{X} (x)$ 可以表达成函数 $f_{X} (x)$ 的积分

F_{X} (x) = \int_{- \infty}^{x} f_{X} (u) d u

称 $f_{X} (x)$ 为随机变量 $X$ 的概率密度函数，可以理解为随机变量 $X$ 出现在区间 $[x, x + d x]$ 之间的概率为 $f_{X} (x) d x$

3.2 特性

$f_{X} (x) = \frac{d}{d x} F_{X} (x)$
$f_{X} (x) ⩾ 0, \forall x \in R$
$P (a < x ⩽ b) = \int_{a}^{b} f_{X} (u) d u$
$\int_{- \infty}^{+ \infty} f_{X} (u) d u = 1$

3.3 举例

对于均匀分布在[a,b]之间的随机变量 $U$ ，有

f_{U} (x) = {\begin{cases} 1 / (b - a) & a ⩽ x ⩽ b \\ 0 & otherwise \end{cases}

正态分布

f (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}}, - \infty < x < + \infty

4. 期望值

4.1 定义

对于离散随机变量，定义期望值

E [X] = \sum x_{i} p_{i}

对于连续型随机变量，定义期望值

E [X] = \int_{- \infty}^{+ \infty} x f_{X} (x) d x

比如对于扔色子的结果

E [X] = \frac{1}{6} (1 + 2 + 3 + 4 + 5 + 6) = 3.5

对于标准正态分布

E [X] = 0

4.2 特性

如果 $c$ 是常量，那么

$E [X + c] = E [X] + c$
$E [c X] = c E [X]$
$E [X + Y] = E [X] + E [Y]$

5. 大数定理

对于随机变量 $X$ ，获取其序列值 $X_{1}, X_{2}, . . . X_{n}$ ，当 $n \to \infty$ 时，其平均值趋近于期望值 $E (X)$

P (lim_{n \to + \infty} \frac{1}{n} (X_{1} + X_{2} + \dots + X_{n}) = E [X]) = 1

6. 蒙特卡洛积分法

6.1 定义

想求一个函数 $g (x)$ 在[a,b]区间的定积分

I = \int_{a}^{b} g (x) d x

定义一个随机数序列 ${X_{i}}$ ， $X_{i}$ 在[a,b]区间的概率密度函数为 $f_{X}$ ,定义

g^{'} (x) = \frac{g (x)}{f_{X} (x)}

那么序列 ${g^{'} (X_{i})}$ 也是一组随机数序列，其期望值

E [g^{'} (X_{i})] = \int_{a}^{b} g^{'} (x) f_{X} (x) d x = \int_{a}^{b} g (x) d x = I

根据大数定理

E [g^{'} (X_{i})] = lim_{n \to + \infty} \frac{1}{n} \sum_{i = 1}^{n} g^{'} (X_{i})

所以

\int_{a}^{b} g (x) d x \approx \frac{1}{N} \sum_{i = 1}^{N} \frac{g (X_{i})}{f_{X} (X_{i})}

6.2举例

比如需要计算

I = \int_{0}^{2} x^{2} d x = \frac{8}{3}

设随机变量 $X$ 在[0,2]区间均匀分布，那么 $f_{X} = 1 / 2$ ,那么

I \approx \frac{1}{N} \sum_{i = 1}^{N} 2 X_{i}^{2}

用Mathmatica模拟

7. 采样函数

计算机中生成的随机数一般是概率均匀分布的随机变量，一般用 $ξ$ 表示均匀分布在[0,1]之间的随机变量，如果一个随机变量 $X$ 的概率密度函数为 $f_{X}$ ，概率分布函数为 $F_{X}$ ，那么产生随机变量 $X$ 的采样函数为概率分布函数的反函数

F_{X}^{- 1} (ξ)

7.1 证明

随机变量 $ξ$ 有一个很重要的特性

P (ξ ⩽ a) = a

随机变量的概率的分布函数 $F_{X}$ 肯定是单调递增函数，所以它的反函数也一定是单调递增函数，所以

\begin{aligned} P (F_{X}^{- 1} (ξ) ⩽ x) & = P (F_{X} (F_{X}^{- 1} (ξ)) ⩽ F_{X} (x)) \\ = P (ξ ⩽ F_{X} (x)) \\ = F_{X} (x) \end{aligned}

7.2 举例

比如想产生一个随机点，均匀分布在一个半径为R的圆内，设产生的随机点的极坐标为 $(ρ, θ)$ ，那么 $ρ$ 的概率分布函数

F_{ρ} (r) = P (ρ ⩽ r) = r^{2} / R^{2}

所以产生随机点的采样函数为

\begin{aligned} ρ & = F_{ρ}^{- 1} (ξ_{ρ}) = R \sqrt{ξ_{ρ}} \\ θ & = 2 π ξ_{θ} \end{aligned}