standard deviation 和standard error的区别,能讲的通俗些吗?

standard deviation 和standard error的区别,能讲的通俗些吗?

区分:

Standard deviation (of a random variable)

Standard error of the mean/ of the standard deviation/ of the variance ...

Standard error of the regression

先明确标准差 (standard deviation)即是方差 (variance)的开方。用来反映一个随机变量的离散程度。

而标准误差 (standard error) 指的是你通过样本(sample)估计总体(population)的时候,样本分布的标准差。

Standard error of the mean 就是你通过样本均值(sample mean)估计总体均值(population mean)的时候,均值的样本分布(sampling distribution of the mean)的标准差。

Standard error of the regression 只特指在OLS估计方法的回归方程中,是误差项(error)的标准差。

你想知道中国人的平均身高(population mean ),真实的群体均值为 ,群体方差为 。每次抽样1000人,抽样了 次。每次抽样的1000人的平均身高是一次随机抽样,这 次抽样是一个样本(sample),样本容量为 而不是1000。每次抽样得出的“平均身高”都是不一样的,这 次不一样的“平均身高”本身组成了一个均值的样本分布(sampling distribution of the mean)。这个分布有自己的均值 和标准差 ,这个均值的样本分布的标准差就是 standard error of the mean。

根据中心极限定理(Central Limit Theorem),当样本容量 变大,样本均值 和群体均值 的差值的 倍接近一个正态分布 ,也就是说:as

~

把 ~ 左右同时除以

~

把 ~ 左右同时加

~

也就是说,样本均值 服从的正态分布的均值就是群体均值 ,而样本均值 服从的正态分布的方差 为 分之一的群体方差 ,也就是

或者写作 =

一般我们只关心群体的均值,如“平均身高”,不关心群体的其他属性,如“身高分化”。但是同理,如果你想知道中国人的身高标准差(population standard deviation),可以每次采样1000人,采样了100次。每次采样得出的“身高标准差”是不一样的,这100次不一样的“身高标准差”本身组成了一个标准差的样本分布(sampling distribution of the standard deviation)。这个分布有自己的均值和标准差,这个标准差的样本分布的标准差就是 standard error of the standard deviation。)

回归中的 检验某种程度上可以看做中心极限定理(Central Limit Theorem)的变形 —— 统计量 的标准化:

~

由 : 得

~

由于无法知道真实的 ,我们用样本的 来做检验

~

把 ~ 左右同时除以

~ t distribution

Standard error of the regression 只特指在OLS估计方法的回归方程中,是误差项 (error)的标准差。

在线性回归中,OLS估计的假设之一是

误差项的“同方差性 Homoscedasticity”:

也就是说回归方程中的误差项有固定的方差和标准差。

把这个方差 开方后的标准差就是该回归的 standard error of the regression。