回归分析在统计学的作用是非常重要的，回归的古典含义，我们来看一下。回归的古典含义是来自于高尔顿“遗传学”的一个说法。高尔顿在研究生物统计的过程当中，研究人的遗传的特性，首先提出了一个“回归”的概念。 什么意思？他发现在一个种族过程当中，虽然高个子的父母，他的孩子个子也比较高，但是经过几代之后，他的高个子孩子的孩子，可能又向种族的平均水平回归，矮个子父母的孩子有的时候个子比较矮，但是过了几代之后，他又向他的种族的平均数进行回归。这是我们古典的一般含义。 回归的现代含义，一个自变量对于若干解释变量存在的依从性的关系，为目的的一个研究。由固定的自变量去估计因变量的平均值。 回归分析我们从样本数据出发，来确定一个变量之间的关系式，同时对这个关系式的可靠程度进行检验。找出哪些变量影响是显著的，哪些变量是不显著的，从而利用关系式对预测的精度给出估计。 相关分析和回归分析之间是有联系的，相关分析是研究变量之间相互依从关系的密切程度，而回归分析是给出一个合适的数学模型，来近似的表达变量之间的平均变化关系。 他们之间是有区别的。在相关分析过程当中，X和Y之间是平等的地位，回归分析过程当中Y是因变量，X是自变量。X是原因，Y是结果。在相关分析当中，X和Y之间都是随机变量，回归分析过程当中Y是随机变量，X可以是随机变量，也可以是非随机变量。相关分析描述是变量之间的关系的密切程度，而回归分析揭示的是X对Y影响的大小，并进行预测。回归分析和相关分析有联系，首先它的理论和方法具有一致性，相关分析是回归分析的基础和前提，相关分析我们可以转化为回归分析。 回归分析和函数之间也是有联系的。函数分析一般都是一个确定的函数形式，比如说直线，线性关系，确定性和唯一性。而回归分析是拟合出来一条直线，而这条拟合线由于你的拟合标准不一样，它的形式可能有所差异，就是不唯一的。当然我们在进行回归分析的研究过程当中，由于自变量的个数和变量的最高次方不同，我们可以有一元回归，多元回归，只是自变量个数不一样。变量的最高次方不一样，有线性回归和非线性回归，然后进行交互搭配。

首先我们看最简单的一种一元线性回归。我们主要讲一元线性回归的回归模型，以及参数估计，实现了你可信度检验和显著性检验。 我们如果知道了X和Y之间存在的相关性，我们就希望用一个变量去估计和预测另外一个变量，这是我们回归分析所要解决的问题。在回归分析当中起影响作用的变量，我们叫做自变量，叫做X。由自变量的变动而发生的对应的变化的变量叫做因变量，叫做Y，结果。 我们一元线性回归，当然首先变量是一个，它的关系是线性的，所以用线性方程来表现，所以是回归方程里面最简单的一种。 比如说我们要估计你的工作工龄程度，实际上是表示他的经验了，与我的产量之间的关系，我们就可以先做三点图，看看有没有正相关和负相关，看一下基本形式，我们对它进行找出这条拟合的线，就是说找出这条线来代替这些点来建立相应的回归方程。 在一元线性回归Y=A+BX+ε的过程当中，A和B，和我们的直线，我们在初中阶段学的一元方程是有区别的，一元方程当中X和Y是未知量，A和B是已知量，而我们在一元线性回归模型当中这个关系是颠倒的。A和B是未知量，X和Y是实际的样本点的值，它是已知量，所以它形式上和一元方程相似，但是本质上是不一样的。同时还有一个随机误差，实际样本点到回归线的距离差是随机误差，表达形式可以是Y=β0+βx+uI，或者是Y=α+βx+uI。或者是Y=a+bx+uI。这是不同的表达形式，本质上都是一样的。其中线性部分反映了由于X的变化，引起Y的平均变化，而残差项表示了由于X之外其他原因对Y的影响。 它的离差，我们现在要解决这样一个问题，你对于一元方程Y=β0+β1要估计出来，那么估计的值我们一般用尖号表示，β0是它的截距，β1是它的斜率，表示X平均变动一个单位时，Y的平均变化率。 同时我们估计出来这条线，它是否真的具有代表性，我们用什么标准来衡量呢？我们要使得参数的估计值尽可能的是接近总体参数的真实值，我们希望所估计的偏离实际观测值的残差越小越好，我们可以取残差的平方和作为标准。当然我们也可以取其他的标准，因为残差是指的样本点到回归线的竖直距离，不是垂直距离，当然你说垂直距离也可以最小，但是内容计算非常复杂。我们用残差平方和作为标准，就是说最小二乘法作为参数估计的一种方法，就是指的实际样本点到回归线估计值之间残差的平方和，求它的最小值，叫最小二乘，二乘就是平方的意思，最小，就是指的残差平方和最小。 我们要达到残差平方和最小，就是（08：24 公式）达到最小。我们分别对A和B求出来，要达到最小值，根据高等数学的知识，我们分别对A和B求偏导，让它一阶导数为0。解这个联立方程，我们就能够算出来，参数A和B的值，其中B等于XY的协方差乘上X的方差，A等于Y的均值减去B，乘上X的均值。得到A和B。 同时A和B的含义我们要知道，A是截距，B是斜率，它的含义就是当自变量增加一个单位时，Y的平均变化量。我们最后得出来刚才这个例子，产量和工龄的长度是正相关，Y等于390加上67X，就意味着当工龄每提高一年，工人的日产量就提高67件，和我们社会上的招聘重视经验是有关系的，你经验越长，你生产效率越高。 同时回归系数和相关系数之间是有关系的，相关系数是XY的协方差比上X的标准差，Y的标准差，而回归系数是XY的协方差比上X的方差，他们分子是相同的，分母是不同。就是说回归系数B比上相关系数R，刚好等于Y的标准差比上X的标准差。 一元线性回归模型的参数估计完了之后，能不能直接用呢？还是不行的，我们估计的只是样本数据得到的参数，我们需要对总体的参数进行检验，只有进行检验的话，这个时候参数值才能用，样本的参数值代替这个总体。 因为我们可以用不同的方法估计出不同的拟合线，就是说不同拟合线拟合程度如何度量，我们需要考虑这两个问题。拟合度量的检验是建立在最因变量离差的分解基础之上，那我们建立回归方程之后，我们需要用方程来估计和推断实际的Y，这样的话我们需要找到一个反映回归方程好坏的一个指标，就是拟合程度，当然我们需要离差分析。 在分析过程当中，我们需要搞清楚一个概念，在回归直线当中实际观测值Y，是在围绕着它的均值进行上下波动的，这个波动我们叫做离差。实际的样本点到Y均值的一个距离总离差，应该构成两部分，一个是实际样本到回归线的距离，这个是残差。还有一个是估计回归线的值，到均值的距离。这三者之间，就是yi+y均值总离差，应该等于yi减去y间，估计值，加上y1间减去y的均值。就是把总离差分解成两部分，一个是残差，就是样本点到估计值的距离，一个是估计值到均值的距离。 离差产生两大类的原因，其中残差是由于随机因素所造成的，而另外一个因素实际上是X的变化所造成的，所以我们把离差平方，求

我们想一想，我们如果要是拟合性要好的话，这三者之间回归平方和和残差平方和哪一个大，哪一个小，好一些呢？很明显，残差平方和应该尽可能的小，而回归平方和应该尽可能的大，我们怎么样用一个指标来度量它，我们就可以用回归平方和除以上总离差平方和这个比重，我们判定系数R或者是叫做可决系数，它等于残差平方和减去总离差平方和。换句话说，回归平方和占总离差的平方和的比重越大，就意味着残差平方和占总离差平方和的比重越小，那么这时候这个线的拟合程度越好。所以R方等于ssr除上sst，等于1减sse除上sst，R越大，就表明方程的拟合性越好，R越趋近于0，表示拟合性越差。 这个R就叫做判定系数或者可决系数。我们上次举一个例子，不良贷款到贷款拟合的余额，判定系数算出来R方是71.16，就说明不良贷款当中有71.6%是由于贷款余额所造成的，剩下的一部分，三分之一部分是由其他的因素造成的。我们还可以用另外一个指标估计它的拟合程度。 比如说我们可以用关系值y到估计值y1间离差的自由度再开根号。这得到一个什么东西，叫做回归估计标准误差，实际上就是平均残差。平均残差越小，就意味着拟合性越哈，精度越高。 刚才讲的是对整个方程的拟合程度有度量，我们还需要对它的回归系数进行检验，回归系数的显著性检验分为T检验和F检验，T检验是检测到单个回归系数的检验，F检验是整体系数的检验。回归系数的检验当中，我们需要检测X和Y之间是否有线性关系，或者自变量X是否对Y有显著性影响。 在回归系数检验过程当中，我们首先提出原假设H0等于βi等于0，如果βi等于0，就认为它没有线性关系，就是说这个参数不成立，它的检验统计量经过研究是T统计量，等于βi间比上βi的标准差。它服从于自由度为N减2的T分布。如果统计量T值大于临界值，T二分之α，我们就拒绝原假设，就认为回归系数不等于零，认为存在线性关系。 我们经过检验T的值是7.5，临界值是2.1，拒绝原假设，认为不良贷款对贷款余额具有显著性的线性关系。 当然T值我们算出来是0后面六个0，这不代表绝对为零，而是太小了，看不出来有多小，但是肯定是比0.05要小，就是说不良贷款和贷款余额有显著性的线性关系。 同时我们还要检测一下整体方式统计值的选择，所有βi假设为0，算出统计量，ssr除以自由度1，比上sse除以自由度n-2，得到一个F统计值。如果F的统计值比临界值大，我们就拒绝H0，H0就认为整体方程没有线性关系，你拒绝它就认为整体方程具有线性关系。最后算出来F值是56，临界值是4.28，F统计量比临界值大很多，拒绝H0认为整体方程是通过检验，可以用这个方程的，这个过程我们用Excel很自然的算出来。 同时我们还可以利用回归方程进行估计和预测，我们在做预测过程当中，如果是点预测给出一点X，我们就可以算出相应的Y，相应我们可以算出相应的区间估计。不良贷款我们给出来一个贷款余额，我们算出相应的值出来。我们区间预测可以进行估计区间预测，它是一个比较复杂的统计形式，我们也可以代入相应的形式，把估计区间算出来。当然预测的直线区间像一个喇叭状，这个越靠近于中间值，X均值的地方，它的误差越小，越靠近两端，误差越大。在运用回归分析预测过程要注意，内差效果要优于外推的效果，一般情况下不离外推太远。 另外你的样本容量不能太小，否则会产生比较大的误差。 这一章我们主要讲到回归分析。回归分析我们介绍了它的古典定义和现代定义，然后我们通过回归分析与相关分析，函数关系的一些比较，来认识清楚了回归分析的一般特征，然后我们通过一元线性回归模型的介绍及其参数的估计，及其相应的拟合度和显著性检验，讲解了一元线性回归的基本思想。