统计知识2:简单回归模型与普通最小二乘法、极大似然法推导

乐想屋2018-10-08 10:54:07

1、什么是回归分析

    回归分析是研究变量间函数(关系)的一种方法。

    例如,我们想分析香烟的消费量是否与各种社会经济变量和人口统计学变量有关,比如年龄、教育程度、收入和香烟的价格等,变量之间的这种关系可以表示为方程或模型的形式。

    在构建用x解释y的模型时,需要考虑:

  • 除x外,如何考虑其他影响y的因素

  • y和x的函数关系是怎么样的

  • 如何能确定我们是在其他条件不变的情况下刻画了y与x之间的关系

    用Y表示因变量,用X1...Xn表示自变量,其中n为自变量的个数,Y和X1...Xn之间的真实关系可近似用下面的回归模型表示。

2、回归分析的分类:


3、简单回归模型


对于系数β,以下分别从最小二乘法、极大似然两种方式估算。

几种参数优化的比较:

1、最小二乘法

  • 最小二乘法是以样本观测值与估计值残差平方最小为标准,对未知参数进行估计的一类方法。

  • 普通最小二乘法是最小二乘法的最直接应用,用在简单回归模型中。

  • 当模型误差项存在异方差,通常使用加权最小二乘法(WLS),对于每一个评估分项赋予一个适当的权数,保证各项在平方和中的作用相当。

  • 当回归模型误差项同时存在异方差和自相关,则一般采用广义最小二乘法(GLS)对误差项协方差矩阵做恒等变化,消除偏导影响。

  • 当模型解释变量存在内生性时,两阶段最小二乘法(2SLS)选取合适的工具变量代替原内生解释变量对回归系数做出估计。

  • 若自变量x存在严重的共线性问题,参数估计值将会很不稳定,可能影响到显著性检验,甚至造成回归系数正负号的错乱。

2、极大似然估计

    以极大似然原理为思想基础,认为,在随机抽取出的n组样本观测值后,最合理的参数估计量应该是能使抽取这n组样本观测值的概率最大的估计量。

    比如:一个书生和一个猎人一起外出打猎,一个野兔经过,只听枪一声响,兔子倒下了。如果让你猜测,你会猜测谁打中了兔子。大概率的情况下为猜测猎人。

3、矩法

  • 是利用样本矩或样本矩构造的方程来估计总体参数的一类参数估计方法,矩法以矩估计法为基础,主要包括矩估计法和广义据估计法。

  • 矩估计法(MME)旨在用样本矩代替相应总体矩,并反解得到参数估计量,需要矩估计方程和待估参数个数相同,才可正好识别待估参数。

  • 当估计方程个数多余参数个数或为更精确估计总体参数而选用更多样本矩时,通常采用广义矩估计法(GMM),寻找使样本矩与总体矩离差平方和最小的参数估计量。

对于参数估计比较的参考文章。http://www.docin.com/p-1695304180.html


4、普通最小二乘法:

可求得:

5、极大似然法估计


Copyright © 广州烤箱价格交流组@2017