高斯噪声与中心极限定理

3. 特征函数

大多数情况下，数字特征（均值，方差，各阶距）不能完全确定随机变量的分布（除少数分布，如高斯分布，仅需要一阶矩和二阶矩就可以确定概率分布，详见附录B），我们需要一种与概率分布对应的一种表示，并且相对于概率分布更有利于计算。特征函数就是这样的一种与随机变量对应的表示，既能完全决定随机变量的分布函数，又具有良好的性质。

定义：设 X X $X$为实随机变量，其概率密度为pX(x)" role="presentation" style="position: relative;">pX(x)pX(x)$p_X(x)$，我们称

设随机变量 X X $X$的特征函数为ϕX(t)" role="presentation" style="position: relative;">ϕX(t)ϕX(t)$\phi_X(t)$，则存在以下特性：

1. 若随机变量具有相同的特征函数，则它们具有相同的概率分布，即若随机变量 Y Y $Y$的特征函数ϕY(t)=ϕX(t)" role="presentation" style="position: relative;">ϕY(t)=ϕX(t)ϕY(t)=ϕX(t)$\phi_Y(t)=\phi_X(t)$，则有 pY(y)=pX(x) p Y ( y ) = p X ( x ) $p_Y(y)=p_X(x)$。
2. 独立同分布随机变量和的特征函数，等于每个随机变量特征函数的乘积。
3. 设 Z=aX Z = a X $Z=aX$，则有 ϕZ(t)=ϕX(at) ϕ Z ( t ) = ϕ X ( a t ) $\phi_Z(t)=\phi_X(at)$。

Remarks: 从特征函数的定义上可以看出， X X $X$的特征函数ϕX(t)" role="presentation" style="position: relative;">ϕX(t)ϕX(t)$\phi_X(t)$也是概率密度 pX(x) p X ( x ) $p_X(x)$的傅里叶变换的共轭复数。而，傅里叶变换正是一种将信号从时域投影到频域的信号分解技术，其存在的意义，就是将信号转换到频域更有利于相应的处理。因此，不难看出，特征函数与概率密度是对应关系。关于特征函数的这些特性，笔者将在附录B中给出详细证明。

4. 中心极限定理

设随机变量 X1,⋯,Xn X 1 , ⋯ , X n $X_1,\cdots ,X_n$相互独立同分布，且具有相同的数学期望和方差，即 E(xi)=μ E ( x i ) = μ $\mathbb{E}({{x}_{i}})=\mu$， D(xi)=σ2 D ( x i ) = σ 2 $D({{x}_{i}})={{\sigma }^{2}}$，则随机变量之和的归一化变量

证：
step 1–––––– step 1 _ $\underline{\text{step 1}}$：设 Zi=Xi−μ Z i = X i − μ $Z_i=X_i-\mu$，则 Zi (i∈[n]) Z i ( i ∈ [ n ] ) $Z_i \ (i\in[n])$相互独立，且 E[Zi]=0 E [ Z i ] = 0 $\mathbb{E}[Z_i]=0$， D(Zi)=σ2 D ( Z i ) = σ 2 $D(Z_i)=\sigma^2$。设 Zi Z i $Z_i$的特征函数为 ϕZi(t) ϕ Z i ( t ) $\phi_{Z_i}(t)$，根据特征函数的性质3，随机变量 1n√σZi 1 n σ Z i $\frac{1}{\sqrt{n}\sigma}Z_i$的特征函数为 ϕZi(1n√σt) ϕ Z i ( 1 n σ t ) $\phi_{Z_i}(\frac{1}{\sqrt{n}\sigma}t)$。而

step 2–––––– step 2 _ $\underline{\text{step 2}}$：对 ϕZ(t) ϕ Z ( t ) $\phi_Z(t)$在 t=0 t = 0 $t=0$处，进行二阶泰勒展开，有

step 3–––––– step 3 _ $\underline{\text{step 3}}$：

step 4–––––– step 4 _ $\underline{\text{step 4}}$：又因为标准正态分布的特征函数为 e−t2/2 e − t 2 / 2 $e^{-t^2/2}$【见附录C】，因此有

Remarks：

1. 本文所介绍的中心极限定理，是独立同分布的中心极限定理。这里假设 n n $n$个相互独立的随机变量具有相同的均值和方差，因此该中心极限定理的条件相对较强，这中类型的中心极限定理，也称为独立同分布的中心极限定理
2. 若假设n" role="presentation" style="position: relative;">nn$n$个相互独立的变量，具有不同的均值和方差，即 E[Xi]=μi E [ X i ] = μ i $\mathbb{E}[X_i]=\mu_i$， D(Xi)=σ2i,(i∈[n]) D ( X i ) = σ i 2 , ( i ∈ [ n ] ) $D(X_i)=\sigma_i^2,(i\in[n])$。该情况为独立同分布的中心极限定理的扩展，称为李亚普诺夫定理。
3. 中心极限定理告诉我们，当相互独立的变量个数足够多，且每个个体对总体的贡献在 n→∞ n → ∞ $n\rightarrow \infty$时，均可忽略不计时，那么这些随机变量的算术平均，服从高斯分布，这也是为什么噪声服从高斯分布，这种假设的合理性解释。

附录

A. 切比雪夫不等式

设随机变量 X X $X$具有数学期望E[X]=μ" role="presentation" style="position: relative;">E[X]=μE[X]=μ$\mathbb{E}[X]=\mu$，方差 DX=σ2 D X = σ 2 $DX=\sigma^2$，则对于任意的正数 ε ε $\varepsilon$，有

证：设 X X $X$的概率密度为pX(x)" role="presentation" style="position: relative;">pX(x)pX(x)$p_X(x)$，则有

B. 特征函数性质的证明

1. 若随机变量具有相同的特征函数，则它们具有相同的概率分布。
   证：设随机变量 X X $X$，Y" role="presentation" style="position: relative;">YY$Y$具有相同的特征函数，即 ϕX(t)=ϕY(t) ϕ X ( t ) = ϕ Y ( t ) $\phi_X(t)=\phi_Y(t)$，则有
   

   ϕX(t)=∫+∞−∞pX(x)eitxdx=∫+∞−∞pY(y)eitydy⇒pX(x)=pY(y)(2376) (2376) ϕ X ( t ) = ∫ − ∞ + ∞ p X ( x ) e i t x d x = ∫ − ∞ + ∞ p Y ( y ) e i t y d y ⇒ p X ( x ) = p Y ( y ) $$\begin{align} \phi_X(t)=\int_{-\infty}^{+\infty} p_X(x)e^{itx}\text{d}x=\int_{-\infty}^{+\infty} p_Y(y)e^{ity}\text{d}y \quad \Rightarrow \quad p_X(x)=p_Y(y) \end{align}$$
   反之，亦成立。

2. 独立同分布随机变量和的特征函数，等于每个随机变量特征函数的乘积。
   证：设随机变量 X X $X$，Y" role="presentation" style="position: relative;">YY$Y$的特征函数分别为 ϕX(t) ϕ X ( t ) $\phi_X(t)$， ϕY(t) ϕ Y ( t ) $\phi_Y(t)$，令 Z=X+Y Z = X + Y $Z=X+Y$，则随机变量 Z Z $Z$的概率密度，可以由卷积公式得到
   (2377)pZ(z)=pX(x)∗pY(y)=∫−∞+∞pX(x)pY(z−x)dx" role="presentation">pZ(z)=pX(x)∗pY(y)=∫+∞−∞pX(x)pY(z−x)dx(2377)(2377)pZ(z)=pX(x)∗pY(y)=∫−∞+∞pX(x)pY(z−x)dx $$\begin{align} p_Z(z)=p_X(x)*p_Y(y)=\int_{-\infty}^{+\infty}p_X(x)p_Y(z-x)\text{d}x \end{align}$$
   则随机变量 Z Z $Z$的特征函数为
   (2378)ϕZ(t)=∫−∞+∞pZ(z)eitzdz(2379)=∫−∞+∞(∫−∞+∞pX(x)pY(z−x)dx)eitzdz(2380)=∫−∞+∞(∫−∞+∞pX(x)pY(y)dx)eit(x+y)d(x+y)(2381)=(∫−∞+∞pX(x)ejtxdx)(∫−∞+∞pY(y)ejtydy)(2382)=ϕX(t)ϕY(t)" role="presentation">ϕZ(t)=∫+∞−∞pZ(z)eitzdz=∫+∞−∞(∫+∞−∞pX(x)pY(z−x)dx)eitzdz=∫+∞−∞(∫+∞−∞pX(x)pY(y)dx)eit(x+y)d(x+y)=(∫+∞−∞pX(x)ejtxdx)(∫+∞−∞pY(y)ejtydy)=ϕX(t)ϕY(t)(2378)(2379)(2380)(2381)(2382)(2378)ϕZ(t)=∫−∞+∞pZ(z)eitzdz(2379)=∫−∞+∞(∫−∞+∞pX(x)pY(z−x)dx)eitzdz(2380)=∫−∞+∞(∫−∞+∞pX(x)pY(y)dx)eit(x+y)d(x+y)(2381)=(∫−∞+∞pX(x)ejtxdx)(∫−∞+∞pY(y)ejtydy)(2382)=ϕX(t)ϕY(t) $$\begin{align} \phi_Z(t) &=\int_{-\infty}^{+\infty} p_Z(z)e^{itz}\text{d}z\\ &=\int_{-\infty}^{+\infty} \left({\int_{-\infty}^{+\infty}p_X(x)p_Y(z-x)\text{d}x}\right)e^{itz}\text{d}z\\ &=\int_{-\infty}^{+\infty} \left({\int_{-\infty}^{+\infty}p_X(x)p_Y(y)\text{d}x}\right)e^{it(x+y)}\text{d}(x+y)\\ &=\left({\int_{-\infty}^{+\infty}p_X(x)e^{jtx}\text{d}x}\right)\left({\int_{-\infty}^{+\infty}p_Y(y)e^{jty}\text{d}y}\right)\\ &=\phi_X(t)\phi_Y(t) \end{align}$$

3. 设 Z=aX Z = a X $Z=aX$，则有 ϕZ(t)=ϕX(at) ϕ Z ( t ) = ϕ X ( a t ) $\phi_Z(t)=\phi_X(at)$。
   证：设随机变量 X X $X$的概率密度为pX(x)" role="presentation" style="position: relative;">pX(x)pX(x)$p_X(x)$，则随机变量 Z Z $Z$的累积分布函数（CDF）可以表示为
   (2383)P(Z≤z)=P(X≤za)=∫−∞z/apX(x)dx" role="presentation">P(Z≤z)=P(X≤za)=∫z/a−∞pX(x)dx(2383)(2383)P(Z≤z)=P(X≤za)=∫−∞z/apX(x)dx $$\begin{align} P(Z\leq z)=P\left({X\leq \frac{z}{a}}\right)=\int^{z/a}_{-\infty}p_X(x)\text{d}x \end{align}$$
   由于概率密度与累积分布函数互为导数关系，即
   

   pZ(z)=∂P(Z≤z)∂z=∂∂z∫z/a−∞pX(x)dx=1apX(z/a)(2384) (2384) p Z ( z ) = ∂ P ( Z ≤ z ) ∂ z = ∂ ∂ z ∫ − ∞ z / a p X ( x ) d x = 1 a p X ( z / a ) $$\begin{align} p_Z(z)&=\frac{\partial P(Z\leq z)}{\partial z}=\frac{\partial }{\partial z}\int^{z/a}_{-\infty}p_X(x)\text{d}x=\frac{1}{a}p_X(z/a) \end{align}$$
   因此，随机变量 Z=aX Z = a X $Z=aX$的特征函数，表示为
   ϕZ(t)=∫+∞−∞pZ(z)eitzdz=∫+∞−∞1apX(x)eit(ax)d(ax)=∫+∞−∞pX(x)ei(at)xdx=ϕX(at)(2385)(2386)(2387)(2388) (2385) ϕ Z ( t ) = ∫ − ∞ + ∞ p Z ( z ) e i t z d z (2386) = ∫ − ∞ + ∞ 1 a p X ( x ) e i t ( a x ) d ( a x ) (2387) = ∫ − ∞ + ∞ p X ( x ) e i ( a t ) x d x (2388) = ϕ X ( a t ) $$\begin{align} \phi_Z(t) &=\int_{-\infty}^{+\infty} p_Z(z)e^{itz}\text{d}z\\ &=\int_{-\infty}^{+\infty}\frac{1}{a}p_X(x)e^{it(ax)}\text{d}(ax)\\ &=\int_{-\infty}^{+\infty}p_X(x)e^{i(at)x}\text{d}x\\ &=\phi_X(at) \end{align}$$

C. 高斯分布的特征函数

设随机变量 X∼N(a,A) X ∼ N ( a , A ) $X\sim \mathcal{N}(a,A)$，则其特征函数为

高斯噪声与中心极限定理

1. 前言

　　
在众多的信号处理学科领域，噪声一直是衡量算法或系统抗噪声性能的一种指标，笔者是通信专业的学生。对于一个通信系统而言，衡量一个通信系统的质量有两个最重要的指标，一个是有效性，一个是可靠性。有效性的衡量标准是传输带宽，而可靠性的衡量准则是误码率。在误码率的计算中，取决于信噪比和码间串扰等因素。另外，信噪比的定义是信号的能量与噪声的能量的比值。那么如何合理的用数学模型来描述噪声呢？
　　
在长达四年的本科学习中，笔者发现，通信专业的书中一般假设噪声服从高斯分布（复信号服从循环对称高斯分布，其实部和虚部分别服从高斯分布）。笔者很是不解，为什么噪声是高斯的？记得在“通信原理”课上，当我问老师的时候，老师回答说“中心极限定理”。事实上，很多信号处理领域的学生一直不明白为什么噪声是高斯的，包括很多通信专业的学生。笔者觉得“为什么噪声是高斯的”这个问题是一个很重要的问题，它直接关系到绝大多数的理论的合理性。
　　
实际系统中，由于存在众多噪声源，且大多噪声源（电子噪声，电磁噪声等）满足相互独立假设，当噪声源数量足够多时，且每个噪声源对于总体的贡献可忽略不计，根据中心极限定理可知，这些噪声源的累加的结果服从高斯分布。此篇推导是笔者在考研的时候完成的，现在重新整理与大家分享。由于本人所学知识有限，诚恳地希望读者批评指正。

2. 辛钦大数定律

设随机变量 X1,X2,⋯,Xn X 1 , X 2 , ⋯ , X n $X_1,X_2,\cdots ,X_n$是相互独立同分布的随机变量序列，且具有相同的数学期望 E[Xi]=μ, (i∈[n]) E [ X i ] = μ , ( i ∈ [ n ] ) $\mathbb{E}[X_i]=\mu,\ (i\in [n])$，作前 n n $n$个随机变量的算数平均值1n∑i=1nXi" role="presentation" style="position: relative;">1n∑ni=1Xi1n∑i=1nXi$\frac{1}{n}\sum\nolimits_{i=1}^nX_i$，则 ∀ε>0 ∀ ε > 0 $\forall \varepsilon >0$，有

证：我们只在随机变量 D(xi)=σ2 (i∈[n]) D ( x i ) = σ 2 ( i ∈ [ n ] ) $D(x_i)={{\sigma }^{2}} \ (i\in [n])$存在，这一条件下证明上述结果。
因为

1. 辛钦大数定理所说明的是，当随机变量个数 n→∞ n → ∞ $n\rightarrow \infty$时，这些随机变量的算术平均 1n∑ni=1Xi 1 n ∑ i = 1 n X i $\frac{1}{n}\sum\nolimits_{i=1}^nX_i$逐渐趋于概率均值 μ μ $\mu$。
2. 另一方面，假设 {xi}(i∈[n]) { x i } ( i ∈ [ n ] ) $\left\{{x_i}\right\} (i\in [n])$为随机变量 X X $X$的样本，则当样本个数n→∞" role="presentation" style="position: relative;">n→∞n→∞$n\rightarrow \infty$时，有样本均值趋于统计均值，即 1n∑ni=1xi=E[X] 1 n ∑ i = 1 n x i = E [ X ] $\frac{1}{n}\sum\nolimits_{i=1}^nx_i=\mathbb{E}[X]$。