漫谈统计之主成分分析

讲师风采
吴庆军
副教授
讲师简介:
曲阜师范大学管理学院副教授
视频简介:
主成分分析是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标,同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析,也是数学上处理降维的一种方法。
发布评论
全部评论
段落信息
主成分分析,它属于统计学当中多元统计的一个分支,它的作用是非常重要的,我们讲一个实际的例子。 比如说一个年轻的女性去买衣服,她购买衣服的时候会考虑很多的因素,一个可能是要款式,时髦不时髦,另外一个可能是价格,划算不划算,还有一个就是这个衣服对她的匹配,合适不合适,当然还有其他的一些指标。 在这些指标过程当中,这些指标对她的购买都是产生了同等的重要,还是说有些因素比较重要,有些因素不重要。我们需要进行分析,多种因素对她产生的影响。 还有对于企业经济效益的评价,对于大学的排名等等,都在多指标的情况下对它进行评价的一个过程。 这些指标评价过程当中,是独立起作用,还是相互影响?我们在日常生活中发现这样一个有趣的例子。比如说一个人做了某件事,获了一个奖,然后在下一个季度的时候他利用这一个奖还可以获得更大的奖,这样的话,他获得的奖就越来越多,有点像马太效应。这些获奖之间它又带有很大的相关性,换句话说,它的指标之间信息带有很大的重合性。我们还有很多的情况。 比如说,我们进行高考,高考我们一般按总分来算,但事实上数学、英语,包括语文,数理化之间,实际上有一定的关联性,我们在日常生活中评价的时候仅仅把这些分数进行简单的加组,但是从原理上来讲,其实这些分数之间带有一定的相关性,换句话说他们信息之间带有一定的重叠性。有些人这门科考好了,另外一科也考的不差,所以用这个带有重合性的信息来衡量一个人的成绩,实际上并不完全客观。 我们主成分分析,实际上是干什么用的?就是把各变量之间相互关联的重复关系进行简单化分析的过程。 我们在经济社会当中,一个很复杂的问题,考虑了很多指标,它从不同的方面反映了我们研究问题的特征,但是在一定程度上,这些信息是存在一定的重叠性,具有一定的相关性。我们任务就是把这些重叠的信息给它筛选掉,留下最本质的信息。换句话说,我们需要对这些多元的变量的信息进行简化,从高维的变量进行降位处理,使得在低维空间,它的辨识要比高维空间辨识的更加清晰,这是我们统计学多元统计当中的主成分分析所要解决的问题。 主成分分析的作用是在力求信息损失最小的原则下,对高维信息进行降位的过程,使得用少数的几个信息组合,来代替原有的信息。而且它能把它的主要信息都包含进去,这种情况下的综合指数我们称之为主成分。 比如说有一个实例,美国的一个统计学家斯通,在1947年关于国民经济研究过程当中,他曾利用了美国1929年到1938年的各年数据,得到的17个反映国民收入与支出的重要变量。比如说雇主的补贴,消费资料和生产资料,从公共支出进库存,股息、利息、外贸平衡等。 他经过主成分分析后,这么多指标,既然可以用97.4%的精度,用三个新变量代替了原来十七个变量。这三个变量根据经济学的知识,这斯通命名了新的名字叫总收入F1,总收入变化率F2,经济发展或者说衰退的趋势是F3。这三个变量而且都是能够直接测量的,斯通这个统计学家将他得到的主成分与实际测到的总收入,以及总收入变化率以及时间因素做了相关的分析,得到相应的表格。发现他们的相关系数是非常高的。 这样的情况下,我们现在对主成分数学模型和几何我们可以做相应的解释。我们可以假设,在我们研究的实际问题当中,有P个指标,这P个指标我们看作是P个随意变量,记为X1到XP,主成分分析的作用就是把P个指标的问题转变为P个指标的线性组合,而这些新指标F1到FK,K的数值一定远远比P的数值要小,而且保留原来的主要信息。而且新的指标之间是相互独立的,这样一个原则。 这种由多个指标降为少数几个综合指标的过程,在数学上就叫做降维,主成分的做法就是寻找原来指标的线性组合Fi。比如说Fi等于(06:53 公式)。 在主成分分析过程当中,要满足一些条件,统计学家经过研究发现,每个主成分的系数的平方和应该为1,就是(07:30 公式)。 第二个条件,主成分之间要相互独立,既没有相互的重叠。 第三,主成分的方差要依次递减。重要性依次递减。就是F的方差一要大于等于F2的方差,大于等于F3的,一直大于FP的方差。 如果我们用一个图形来画主成分的话,我们在一个轴当中,它的原来的坐标是X1,X2,我们做完图形之后,我们就相当于把这个坐标进行了旋转,做成一个椭圆形状,那个椭圆的长轴就是F1主成分,它的短轴就是次要成分,相当于我们把二维的事情降成一维,而且能抓住它的本质。 在这个二维空间当中,我们如果原来的坐标X1和X2都有很大的离散性。而在新的坐标当中,沿着F1的离散性最大,沿着F2的离散性最小。这样的话F1就把X1和X2基本的信息都含进来了。 将X1和X2变成F1和F2过程当中,实

全文文稿

收藏说明: