主成分分析法教案
主成分分析法
一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。
二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。
任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。由这一点来看，一项指标在个体间的变异越大越好。因此我们把“变异大”作为“好”的标准来寻求综合指标。
例1、考察对象股票业绩（这里单个股票为观察个体）。
（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。
因此对单个股票来说，用11个随机变量综合刻化。但这些因素过多，各因素区别不明显，有交叉反映。通过主成分分析，可降为少数几个综合指标加以刻化。
（2）考察20支不同的股票。从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。
三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？
1、主成分的一般定义
设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X
，样本标准差记为S1，S2，…，Sp 。首先作标准化变换
S
X X x -=
我们有如下的定义：
(1) 若Y1=a11x1+a12x2+ … +a1pxp ，1
21212211=+++p a a a Λ，且使 Var(Y1)最大，则称Y1为第一主成分；
(2) 若Y 2=a21x1+a22x2+…+a2pxp ，122222221=+++p a a a Λ，(a21，
a22，…，a2p)垂直于(a11，a12，…，a1p)，且使Var(Y2)最大，则称Y2为第二主成分；
(3) 类似地，可有第三、四、五…主成分，至多有p 个。
2、主成分的性质 ：Y1，Y2，…，Yp 具有如下几个性质
(1) 主成分间互不相关，即对任意i 和j ，Yi 和Yj 的相关系数
Corr(Yi ，Yj)=0 i ≠ j
(2) 组合系数(ai1，ai2，…，aip)构成的向量为单位向量，
1
2
2221=+++ip i i a a a Λ
(3) 各主成分的方差是依次递减的， 即
Var(Y1)≥Var(Y2)≥…≥Var(Yp)
(4) 总方差不增不减， 即
Var(Y1)+Var(Y 2)+ … +Var(Yp)
=Var(x1)+Var(x2)+ … +Var(xp)
这一性质说明：主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。
(5) 主成分和原变量的相关系数 Corr(Yi ，i λ (6) 令X1，X2，…，Xp 的相关矩阵为R, (ai1，ai2，…，aip)则是相关矩阵R 的第i 个特征向量(eigenvector)。而且，特征值λi 就是第i 主成分的方差， 即
Var(Yi)= λi
其中λi 为相关矩阵R 的第i 个特征值(eigenvalue)
λ1≥λ2≥…≥λp ≥0
3、主成分的数目的选取
前已指出，设有p 个随机变量，便有p 个主成分。由于总方差不增不减，Y1，Y2等前几个综合变量的方差较大,而Yp ，Yp-1等后几个综合变量的方差较小, 严格说来，只有前几个综合变量才称得上主(要)成份，后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。
保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比（一般为80%）便可决定保留几个主成分；如果多留一个主成分，累积方差增加无几，便不再多留。
四、主成分分析的一般步骤
1、设观察个体的变量指标为x 1，x 2，…，x p ，它们的综合指标——主成分为z 1，z 2，…，z m （m≤p ），则
111112211122
p p m m m mp p z l x l x l x z l x l x l x
?=+++?
??=+++?L L L
z 1，z 2，…，z m 分别称为原变量指标x 1，x 2，…，x 6的第一，第二，…，第m 主
成分。
2观察个体 x 1 x 2 L
X p 个体1
个体2
M 个体n
设有随机变量x 1，x 2，…，x p ， 其样本均数记为1x ，2x ，…，p x ，样本标准差记为S 1，S 2，…，S p 。首先作标准化变换
S
X X x -=
3、计算相关系数矩阵，对应的特征值1p λλL (按从大到小排列)及其对应的特
征向量
Matlab 命令：
(1)R= corrcoef(X) (2)[b,c]=eigs(R)
4．计算主成分贡献率及累计贡献率
类似形式结果：
5．计算主成分载荷
(,1,26)ij i ij l e i j λ==L
ij i e λ为对应的标准化的特征向量的第j 分量
类似形式结果：
6．进行结果分析
类似形式：
▲ 第一主成分z1与x1，x3，x4，x5，x8，x9有较大的正相关，可以看作是流域盆地规模的代表；▲ 第二主成分z2与x2有较大的正相关，与x7有较大的负相关，分可以看作是流域侵蚀状况的代表；▲ 第三主成分z3与x6有较大的正相关，可以看作是河系形态的代表；▲ 根据主成分载荷，该流域系统的9项要素可以被归纳为三类，即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积、流域盆地出口的海拔高度和分叉率可作为这三类要素的代表。
例2、主成分分析方法应用实例
1) 实例1: 流域系统的主成分分析（张超，1984）
表3.5.1（点击显示该表）给出了某流域系统57个流域盆地的9项变量指标。其中，x1代表流域盆地总高度（m），x2代表流域盆地山口的海拔高度（m），x3代表流域盆地周长（m），x4代表河道总长度（m），x5代表河道总数，x6代表平均分叉率，x7代表河谷最大坡度（度），x8代表河源数， x9代表流域盆地面积（km2）。
注：表中数据详见书本87和88页。
(1) 分析过程：
①将表3.5.1中的原始数据作标准化处理，然后将它们代入相关系数公式计算，得到相关系数矩阵（表3.5.2）。
②由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表3.5.3）。由表
3.5.3可知，第一，第二，第三主成分的累计贡献率已高达86.5%，故只需求出第一、第二、第三主成分z1，z2，z3即可。
z3上的载荷
（表3.5.4）。
(2) 结果分析：
▲ 第一主成分z1与x1，x3，x4，x5，x8，x9有较大的正相关，可以看作是流域盆地规模的代表；
▲ 第二主成分z2与x2有较大的正相关，与x7有较大的负相关，分可以看作是流域侵蚀状况的代表；
▲ 第三主成分z3与x6有较大的正相关，可以看作是河系形态的代表；
▲ 根据主成分载荷，该流域系统的9项要素可以被归纳为三类，即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积、流域盆地出口的海拔高度和分叉率可作为这三类要素的代表。
(2) 实例之二：
中国大陆31个省（市、区）第三产业综合发展水平的主成分分析与评估
聚类分析
聚类分析就是用数学方法对事物进行分类，如（1）我们可以根据学校的师资、设备、学生的情况，将大学分成一流大学，二流大学等；（2）国家之间根据其发展水平可以划分为发达国家、发展中国家；环境优劣分类等。聚类分析一种多元统计方法。
基本思想：
（1）确定观察个体的观测指标，找出能够度量相似程度的统计量；
（2）建立相似关系矩阵R。
（3）把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，关系密切
的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单
位，直到把所有的样品（或指标）聚合完毕。
（4）分类结果可以用聚类谱系图表现，非常清楚直观。