带你全面了解样本方差公式来由 样本方差公式推导

概率论中的方差表示方法:
样本方差、无偏估计、无偏方差 ( ) 。对于一组随机变量,从中随机抽取N个样本,这组样本的方差是Xi^2的平方和除以N-1 。
总体方差,也叫有偏估计,其实就是我们从初中和高中学到的标准定义的方差,除数为N 。
统计中的方差表示:
二、为什么样本方差的分母是n-1?为什么叫无偏估计?
简单的答案是因为平均值,您使用了 n 个数字的平均值进行估计 。在计算方差时,只有 (n-1) 个数字和均值信息是不相关的 。
而你的第n个数已经可以由第一个(n-1)数和均值唯一确定,其实没有多少信息量 。所以在计算方差的时候,只要除以(n-1) .
更严格的证明呢?
样本方差计算公式中分母的目的是n-1,使方差的估计无偏 。
直观上,无偏估计 ( ) 优于有偏估计 ( ),尽管一些统计学家认为使平均误差或 MSE 最小更有意义,我们在此不再讨论;
【带你全面了解样本方差公式来由样本方差公式推导】违反直觉的是为什么分母必须是 n-1 而不是 n 才能使估计无偏 。
首先,我们假设随机变量的数学期望是已知的,但是方差是未知的 。在这种情况下,根据方差的定义,我们有
所以

带你全面了解样本方差公式来由  样本方差公式推导

文章插图
这个结果是直观的并且在数学上是显而易见的 。
现在,我们考虑随机变量
带你全面了解样本方差公式来由  样本方差公式推导

文章插图

带你全面了解样本方差公式来由  样本方差公式推导

文章插图

带你全面了解样本方差公式来由  样本方差公式推导

文章插图
三、理论推导
为了描述方便,这里解释一下数学符号:
带你全面了解样本方差公式来由  样本方差公式推导

文章插图
如前所述,之所以将样本方差除以(n-1),是因为这样的方差估计量是关于总体方差的无偏估计量 。用公式来说,就是样本方差 。等于总体方差 。如下:
但是没有修正方差公式,它的期望不等于总体方差
也就是说,如果样本方差估计器使用未校正的方差公式来估计总方差,则它是有偏的
下面让我们更好地理解公式推导过程:
带你全面了解样本方差公式来由  样本方差公式推导

文章插图
也就是说,除非
否则会有
需要注意的是,不等式右边是方差的“正确”估计,但我们不知道真正的总体均值是什么,只能用样本均值代替总体均值 。
因此,如果样本方差估计器使用未校正的方差公式来估计总方差,就会有偏差,会低估总体样本方差 。为了在没有偏差的情况下估计总体方差,应修改方差计算公式 。修改后的公式如下:
带你全面了解样本方差公式来由  样本方差公式推导

文章插图
该修订后的估计量将是总体方差的无偏估计量,该修订的一个来源将在下面给出;
为了理解这种修正是如何产生的,首先我们必须有以下等式:
1.方差计算公式:
2.均值的均值和方差计算公式:
对于未校正的方差计算公式,我们有:
带你全面了解样本方差公式来由  样本方差公式推导

文章插图
因为:
F:
这里,如果要修改方差公式,让修改后的方差公式计算出的方差的期望为整体方差,则需要在未修改的方差公式前面加上修正,即:
所以会有这样的修正公式:
而我们看到的是修正后的最终结果:
这就解释了为什么需要修改方差计算公式,以及为什么 。
郑重声明:本文版权归原作者所有,转载文章仅出于传播更多信息之目的 。如作者信息标注有误,请尽快联系我们修改或删除,谢谢 。