特征函数 (概率论)

概率论中,任何随机变量特征函数(缩写:ch.f,复数形式:ch.f's)完全定义了它的概率分布。在直线上,它由以下公式给出,其中是任何具有该分布的随机变量:

The characteristic function of a uniform U(–1,1) random variable. This function is real-valued because it corresponds to a random variable that is symmetric around the origin; however characteristic functions may generally be complex-valued.

其中是一个实数,虚数单位表示期望值

矩母函数来表示(如果它存在),特征函数就是的矩母函数,或在虚数轴上求得的矩母函数。

与矩母函数不同,特征函数总是存在。

如果累积分布函数,那么特征函数由黎曼-斯蒂尔杰斯积分给出:

概率密度函数存在的情况下,该公式就变为:

如果是一个向量值随机变量,我们便取自变量为向量,数量积

上的每一个概率分布都有特征函数,因为我们是在有限测度的空间上对一个有界函数进行积分,且对于每一个特征函数都正好有一个概率分布。

一个对称概率密度函数的特征函数(也就是满足)是实数,因为从所获得的虚数部分与从所获得的相互抵消。

性质

连续性

勒维连续定理说明,假设 为一个随机变量序列,其中每一个 都有特征函数 ,那么它依分布收敛于某个随机变量 

  

如果

  

  处连续,  的特征函数。

勒维连续定理可以用来证明弱大数定律

反演定理

在累积概率分布函数与特征函数之间存在双射。也就是说,两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ,可以用以下公式求得对应的累积概率分布函数 

 

一般地,这是一个广义积分;被积分的函数可能只是条件可积而不是勒贝格可积的,也就是说,它的绝对值的积分可能是无穷大。[1]

博赫纳-辛钦定理/公理化定义

任意一个函数 是对应于某个概率律 的特征函数,当且仅当满足以下三个条件:

  1.  是连续的;
  2.  
  3.  是一个正定函数(注意这是一个复杂的条件,与 不等价)。

计算性质

特征函数对于处理独立随机变量的函数特别有用。例如,如果  、……、 是一个独立(不一定同分布)的随机变量的序列,且

 

其中 是常数,那么 的特征函数为:

 

特别地, 。这是因为:

 

注意我们需要  的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况,是  为样本平均值。在这个情况下,用 表示平均值,我们便有:

 

特征函数举例

分布 特征函数  
退化分布      
伯努利分布      
二项分布      
负二项分布      
泊松分布      
连续均匀分布      
拉普拉斯分布      
正态分布      
卡方分布  k    
柯西分布      
伽玛分布      
指数分布      
多元正态分布      
多元柯西分布   [2]    

Oberhettinger (1973) 提供的特征函数表.

特征函数的应用

由于连续定理,特征函数被用于中心极限定理的最常见的证明中。

特征函数还可以用来求出某个随机变量的。只要第n个矩存在,特征函数就可以微分n次,得到:

 

例如,假设 具有标准柯西分布。那么 。它在 处不可微,说明柯西分布没有期望值。另外,注意到 独立的观测的样本平均值 具有特征函数 ,利用前一节的结果。这就是标准柯西分布的特征函数;因此,样本平均值与总体本身具有相同的分布。

特征函数的对数是一个累积量母函数,它对于求出累积量是十分有用的;注意有时定义累积量母函数为矩母函数的对数,而把特征函数的对数称为第二累积量母函数。

一个例子

具有尺度参数 和形状参数k伽玛分布的特征函数为:

 

现在假设我们有:

  

其中  相互独立,我们想要知道 的分布是什么。  特征函数分别为:

 

根据独立性和特征函数的基本性质,可得:

 

这就是尺度参数为 、形状参数为 的伽玛分布的特征函数,因此我们得出结论:

 

这个结果可以推广到 个独立、具有相同尺度参数的伽玛随机变量:

 

多元特征函数

如果 是一个多元随机变量,那么它的特征函数定义为:

 

这里的点表示向量的点积,而向量 位于 对偶空间内。用更加常见的矩阵表示法,就是:

 

例子

如果 是一个平均值为零的多元高斯随机变量,那么:

 

其中 表示正定矩阵 Σ的行列式。

矩阵值随机变量

如果 是一个矩阵值随机变量,那么它的特征函数为:

 

在这里, 函数, 表示  的矩阵乘积。由于矩阵XT一定有迹,因此矩阵X必须与矩阵T转置的大小相同;因此,如果Xm × n矩阵,那么T必须是n × m矩阵。

注意乘法的顺序不重要(  )。

矩阵值随机变量的例子包括威沙特分布矩阵正态分布

相关概念

相关概念有矩母函数概率母函数。特征函数对于所有概率分布都存在,但矩母函数不是这样。

特征函数与傅里叶变换有密切的关系:一个概率密度函数 的特征函数是 连续傅里叶变换共轭复数(按照通常的惯例)。

 

其中 表示概率密度函数 连续傅里叶变换。类似地,从 可以通过傅里叶逆变换求出 

 

确实,即使当随机变量没有密度时,特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。

参考文献

  1. ^ P. Levy, Calcul des probabilités, Gauthier-Villars, Paris, 1925. p. 166
  2. ^ Kotz et al. p. 37 using 1 as the number of degree of freedom to recover the Cauchy distribution
  • Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
  • Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science