主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。本章主要介绍主成分分析、主成分回归、立体数据表的主成分分析几个内容。首先介绍了主成分分析的基本思想以及数学模型和几何解释,其次介绍主成分的推导及性质以及原始变量与主成分之间的相关系数,随后通过举例说明了主成分分析的过程与作用。在主成分回归部分通过举例说明介绍了其应用。最后在时序立体数据表迅速提取重要信息的方法。

注脚

展开查看详情

1.主成分分析

2.•主成分分析 •主成分回归 •立体数据表的主成分分析

3. §1 基本思想 一项十分著名的工作是美国的统计学家斯通 (stone)stone)) 在 1947 年关于国民经济的研究。他曾利用 美国 1929 一 1938 年各年的数据,得到了 17 个反映 国民收入与支出的变量要素,例如雇主补贴、消费 资料和生产资料、纯公共支出、净增库存、股息、 利息外贸平衡等等。

4. 在进行主成分分析后,竟以 97.4 %的精 度,用三新变量就取代了原 17 个变量。根据 经济学知识,斯通给这三个新变量分别命名为 总收入 F1 、总收入变化率 F2 和经济发展或衰 退的趋势 F3 。更有意思的是,这三个变量其 实都是可以直接测量的。斯通将他得到的主成 分与实际测量的总收入 I 、总收入变化率 I 以及时间 t 因素做相关分析,得到下表:

5.  F1 F2 F3 i i t F1 1           F2 0 1         F3 0 0 1       i 0.995 -0.041 0.057 l     Δi -0.056 0.948 -0.124 -0.102 l   t -0.369 -0.282 -0.836 -0.414 -0.112 1

6. 主成分分析是把各变量之间互相关联的复 杂关系进行简化分析的方法。 在社会经济的研究中,为了全面系统的分析 和研究问题,必须考虑许多经济指标,这些指标 能从不同的侧面反映我们所研究的对象的特征, 但在某种程度上存在信息的重叠,具有一定的相 关性。

7. 主成分分析试图在力保数据信息丢失最 少的原则下,对这种多变量的截面数据表进 行最佳综合简化,也就是说,对高维变量空 间进行降维处理。 很显然,识辨系统在一个低维空间要比在 一个高维空间容易得多。

8. 在力求数据信息丢失最少的原则下,对高维的变 量空间降维,即研究指标体系的少数几个线性组合 ,并且这几个线性组合所构成的综合指标将尽可能 多地保留原来指标变异方面的信息。这些综合指标 就称为主成分。要讨论的问题是: (stone)1) 基于相关系数矩阵还是基于协方差 矩阵做主成分分析。当分析中所选择的经济变 量具有不同的量纲,变量水平差异很大,应该 选择基于相关系数矩阵的主成分分析。

9. ( 2 ) 选择几个主成分。主成分分析的 选择几个主成分。主成分分析的 目的是简化变量,一般情况下主成分的个数 应该小于原始变量的个数。关于保留几个主 成分,应该权衡主成分个数和保留的信息。 ( 3 ) 选择几个主成分。主成分分析的 如 何解释主成分所包含的经济意义 。

10. §2 数学模型与几何解释 假设我们所讨论的实际问题中,有 p 个指 标,我们把这 p 个指标看作 p 个随机变量,记为 X1 , X2 ,…, Xp ,主成分分析就是要把这 p 个 指标的问题,转变为讨论 p 个指标的线性组合的 问题,而这些新的指标 F1 , F2 ,…, Fk(stone)k≤p ) 选择几个主成分。主成分分析的 ,按照保留主要信息量的原则充分反映原指标的 信息,并且相互独立。

11. 这种由讨论多个指标降为少数几个综合 指标的过程在数学上就叫做降维。主成分分析 通常的做法是,寻求原指标的线性组合 Fi 。 F1 u11 X 1  u21 X 2    u p1 X p F2 u12 X 1  u22 X 2    u p 2 X p  Fp u1 p X 1  u2 p X 2    u pp X p

12.满足如下的条件: 每个主成分的系数平方和为 1 。即 2 2 2 u  u    u 1 1i 2i pi 主成分之间相互独立,即无重叠的信息。即 Cov(Fi,Fj)0,i  j,i,j 1, 2, ,p 主成分的方差依次递减,重要性依次递减,即 Var(F1)Var ( F2 )  Var ( Fp )

13. 平移、旋转坐标轴 x2 F1 F2 •• • • • • • • • • • • •• • •• • •• 释 解 何 几 的 析 分 成 主 • • • •• • • • x1 •• • • • • • • •

14. 平移、旋转坐标轴 x2 F1 F2 • •• ••• • ••• • • •• • ••• • • •• • 释 解 何 几 的 析 分 成 主 • • •• •• • x1 • ••• • •• •

15. 平移、旋转坐标轴 x2 F1 F2 • ••• ••• • •• •• ••• •• • 释 解 何 几 的 析 分 成 主 •• •• x1 •• ••• •• •• • •

16.平移、旋转坐标轴 x2 F1 F2 • • •• • • • • • • • • ••• •• • • • • • • ••• • • • •• • •••• • • •• • • • • • •• •• • ••• • • • • • 释 解 何 几 的 析 分 成 主 • • • • • • x1 • • •• • • • • • • • • • •• • • • • • • • • • •• • • • •• • •

17. 为了方便,我们在二维空间中讨论主成分的几何 意义。 设有 n 个样品,每个样品有两个观测变量 xl 和 x2 ,在由变量 xl 和 x2 所确定的二维平面中, n 个样本点所 散布的情况如椭圆状。由图可以看出这 n 个样本点无论是 沿着 xl 轴方向或 x2 轴方向都具有较大的离散性,其离散 的程度可以分别用观测变量 xl 的方差和 x2 的方差定量地 表示。显然,如果只考虑 xl 和 x2 中的任何一个,那么包 含在原始数据中的经济信息将会有较大的损失。

18.• 如果我们将 xl 轴和 x2 轴先平移,再同 时按逆时针方向旋转角度,得到新坐标轴 Fl 和 F2 。 Fl 和 F2 是两个新变量。

19. 根据旋转变换的公式:  y1  x1 cos  x2 sin    y1  x1 sin   x2 cos  y1   cos sin   x1       Ux  y2    sin  cos  x2  U为旋转变换矩阵,它是正交矩阵,即有 U U  1 , UU I

20. 旋转变换的目的是为了使得 n 个样品 点在 Fl 轴方向上的离 散程度最大,即 Fl 的方差 最大。变量 Fl 代表了原始数据的绝大 部分信息 ,在研究某经济问题时,即使不考虑变量 F2 也 无损大局。经过上述旋转变换原始数据的大部 分信息集中到 Fl 轴上,对数据中包含的信息起 到了浓缩作用。

21. Fl , F2 除了可以对包含在 Xl , X2 中的信息起 着浓缩作用之外,还具有不相关的性质,这就使 得在研究复杂的问题时避免了信息重叠所带来的 虚假性。二维平面上的个点的方差大部分都归结 在 Fl 轴上,而 F2 轴上的方差很小。 Fl 和 F2 称为 原始变量 x1 和 x2 的综合变量。 F 简化了系统结 构,抓住了主要矛盾。

22. §3 主成分的推导及性质 一、两个线性代数的结论 1 、若 A是 p阶实对称阵,则一定可以找到正交阵 U,使 1 0  0 0   0 1 U AU   2      0 0   p  p  p  其中 i , i 1.2.是  A的特征根。 p

23.2 、若上述矩阵的特征根所对应的单位特征向量 为 u1 ,, u p  u11 u12  u1 p  u u  u  令 U (u1 ,, u p )  21 22 2p      u u  u   p1 p2 pp  则实对称阵 A属于不同特征根所对应的特征向 量是正交的,即有UU UU I

24. 二、主成分的推导 (一) 第一主成分   12  12   1 p   2  2p 2  设 X的协方差阵为 Σ x   21      2   p1  p 2   p  由于 Σx 为非负定的对称阵,则有利用线性代数的 知识可得,必存在正交阵 U,使得 1 0 UΣ X U      0  p 

25. 其中 1 ,  2 ,…,  p 为 Σx 的特征根,不妨 假设 1 2  … p 。而 U恰好是由特征根相对 应的特征向量所组成的正交阵。  u11 u12  u1 p  u u  u  U (u1 ,, u p )  21 22 2p  i     u u  u   p1 p2 pp   U i u1i,u2i, ,u pi  i 1,2,, P 下面我们来看,是否由 U 的第一列元素所构成为原始 变量的线性组合是否有最大的方差。

26.   设有 P维正交向量 a1  a11 , a21 ,, a p1  F1 a11 X 1    a p1 X p aX 1   2  V ( F1 ) a1a1 a1U   Ua1        p  1   u1   2   u  a1 u1 ,u 2 ,,u p     2 a1          p  up   

27. p  iaui uia i 1 p  i (au i ) 2 i 1 p 1  (au i ) 2 i 1 p 1  auiuia i 1 1aUUa 1aa 1

28. F1 u11 X 1    u p1 X p 当且仅当 a1 =u1 时,即 时, 有最大的方差 1 。因为 Var(stone)F1)=U’1xU1=1 。 如果第一主成分的信息不够,则需要寻找第二主成 分。

29. (二) 第二主成分 ) 0 在约束条件 下,寻找第二主成分 cov( F1 , F2 下,寻找第二主成分 F2 u12 X 1    u p 2 X p 因为 cov( F1 , F2 ) cov( u1x, u2 x ) u2u1 1u2u1 0 所以 u2u1 0 则,对 p 维向量 u2 ,有 p p p V ( F2 ) u2u2   i u2u i ui u 2   i (u2u i ) 2  (u2u i ) 2 2 i 1 i 1 i 2

30. p 2  u2u i ui u 2 i 1 2u2 UUu 2 2u2u 2  2 所以如果取线性变换:F2 u12 X 1  u22 X 2    u p 2 X p 则F2的方差次大。 F1 u11 X 1  u21 X 2    u p1 X p F2 u12 X 1  u22 X 2    u p 2 X p 类推  Fp u1 p X 1  u2 p X 2    u pp X p

31.写为矩阵形式: F UX  u11 u12  u1 p  u u  u  U (u1 ,, u p )   21 22 2p     u u  u   p1 p2 pp  X ( X 1 , X 2 ,, X p )

32. §4 主成分的性质 一、均值 E (Ux) U 二、方差为所有特征根之和 p  Var ( Fi ) 1  2     p  12   22     p2 i 1 说明主成分分析把 P个随机变量的总方差分解 成为 P个不相关的随机变量的方差之和。 协方差矩阵的对角线上的元素之和等于特征根之 和。

33. 三、精度分析 1 ) 选择几个主成分。主成分分析的贡献率:第 i 个主成分的方差在全部方差中所 p 占比重i  i,称为贡献率 ,反映了原来 P个指标多大 i 1 的信息,有多大的综合能力 。 2 ) 选择几个主成分。主成分分析的累积贡献率:前 k 个主成分共有多大的综合能 力,用这 k 个主成分的方差和在全部方差中所占比重 k p  i  i i 1 i 1 来描述,称为累积贡献率。

34. 我们进行主成分分析的目的之一是希望用尽可 能少的主成分 F1 , F2 ,…, Fk ( k≤p ) 选择几个主成分。主成分分析的代替原来的 P个指标。到底应该选择多少个主成分,在实际工作中 ,主成分个数的多少取决于能够反映原来变量 80% 以 上的信息量为依据,即当累积贡献率 ≥ 80% 时的主成 分的个数就足够了。最常见的情况是主成分为 2 到 3 个。

35.四、原始变量与主成分之间的相关系数 Fj u1 j x1  u2 j x2    u pj x p j 1,2,, m, m  p F UX UF X  x1   u11 u12  u1 p   F1   x  u u  u  F   2   21 22 2p   2                x p   u p1 u p 2  u pp   Fp 

36.Cov ( xi , F j ) Cov (ui1F1  ui 2 F2    uip Fp , F j ) uij  j uij  j uij  j  ( xi , Fj )   i j i 可见, xi F和 j 的相关的密切程度取决 于对应线性组合系数的大小。

37.

38. 五、原始变量被主成分的提取率 前面我们讨论了主成分的贡献率和累计贡献率, 他度量了 F1 , F2 ,……, Fm 分别从原始变量 X1 , X2 , …… XP 中提取了多少信息。那么 X1 , X2 ,…… XP 各有多 少信息分别 F1 , F2 ,……, Fm 被提取了。应该用什么指 标来度量?我们考虑到当讨论 F1 分别与 X1 , X2 ,…… XP 的关系时,可以讨论 F1 分别与 X1 , X2 ,…… XP 的相 关系数,但是由于相关系数有正有负,所以只有考虑相 关系数的平方。

39. Var ( xi ) Var (ui1F1  ui 2 F2    uip Fp ) 2 2 2 2 2 则 u   u     u     u  p  i1 1 i2 2 im m ip i uij2 j 是 Fj 能说明的第 i 原始变量的方差 uij2 j /  i2是 Fj 提取的第 i 原始变量信息的比重 如果我们仅仅提出了 m 个主成分,则第 i 原始变量信息的被提取率为: m m i    u /    ij2 2 j ij i 2 j 1 j 1

40. 例 设 x1 , x2 ,的协方差矩阵为 x3  1  2 0    2 5 0   0 0 2 解得特征根为 1 , ,, 5.83 2, 2.00 3 0.17  0.383  0 0.924 U1   0.924 U 2 0 U 3  0.383        0.000  1  0.000 第一个主成分的贡献率为 5.83/ ( 5.83+2.00+0.17 ) =72.8 75% ,尽管第一个主成分的贡献率并不小,但在本题中第 一主成分不含第三个原始变量的信息,所以应该取两个主

41. Xi 与 F1 的 平方 Xi 与 F2 的相 平方 信息提 相关系数 关系数 取率 xi  ( xi , F1 )   i1  i21  ( xi , F2 ) i 2  i22 i 1 0.925 0.855 0 0 0.855 2 -0.998 0.996 0 0 0.996 3 0 0 1 1 1 11  1u11  12  5.83 * 0.383 1 0.925 12  1u21  22  2 * ( 0.924) 5  0.998 13 0

42. 定义:如果一个主成分仅仅对某一个原 始变量有作用,则称为特殊成分。如果一个 主成分所有的原始变量都起作用称为公共成 分。 ( 该题无公共因子)

43. 六、载荷矩阵  u11 u12  u1m  u u  u   21 22 2m      u u  u   p1 p 2 pm 

44. §5 主成分分析的步骤 在 一、基于协方差矩阵 实际问题中, X 的协方差通常是未知的,样品有 的  X l  x1l,x2l, ,x pl  (l 1, 2,,n)  1 n  ˆ x   ( xil  xi )( x jl  x j )   n  1 l 1  pp 第一步:由 X的协方差阵 Σx ,求出其特征根,即解 Σ   I 0 1  2   p 0 方程 ,可得特征根 。

45. 第二步:求出分别所对应的特征向量 U1 , U2 ,…, Up , U i u1i,u2i, ,u pi   第三步:计算累积贡献率,给出恰当的主成分个数 。 Fi Ui X,i 1, 2,,k (k  p ) 第四步:计算所选出的 k 个主成分的得分。将原始数据的 中心化值 :  X X i  X  x1i  x1,x2i  x2, * i ,x pi  x p  代入前 k 个主成分的表达式,分别计算出各单位 k 个 主成分的得分,并按得分值的大小排队。

46. 二、基于相关系数矩阵 如果变量有不同的量纲,则必须基于相关系数矩阵 进行主成分分析。不同的是计算得分时应采用标准化后 的数据。

47. 例一 应收账款是指企业因对外销售产品、材料 、提供劳务及其它原因,应向购货单位或接受劳务的单 位收取的款项,包括应收销货款、其它应收款和应收票 据等。出于扩大销售的竞争需要,企业不得不以赊销或 其它优惠的方式招揽顾客,由于销售和收款的时间差, 于是产生了应收款项。应收款赊销的效果的好坏,不仅 依赖于企业的信用政策,还依赖于顾客的信用程度。由 此,评价顾客的信用等级,了解顾客的综合信用程度, 做到“知己知彼,百战不殆”,对加强企业的应收账款管 理大有帮助。某企业为了了解其客户的信用程度,采用 西方银行信用评估常用的 5C 方法, 5C 的目的是说明顾 客违约的可能性。

48. 1 、品格(用 X1 表示),指顾客的信誉,履行偿还 义务的可能性。企业可以通过过去的付款记录得到此 项。 2 、能力(用 X2 表示),指顾客的偿还能力。即其 流动资产的数量和质量以及流动负载的比率。顾客的 流动资产越多,其转化为现金支付款项的能力越强。 同时,还应注意顾客流动资产的质量,看其是否会出 现存货过多过时质量下降,影响其变现能力和支付能 力。 3 、资本(用 X3 表示),指顾客的财务势力和财务 状况,表明顾客可能偿还债务的背景。 4 、附带的担保品(用 X4 表示),指借款人以容易 出售的资产做抵押。 5、环境条件(用 X5 表示),指企业的外部因素,即 指非企业本身能控制或操纵的因素。

49. 首先并抽取了 10 家具有可比性的同类企业作为样 本,又请 8位专家分别给 10 个企业的 5个指标打分 ,然后分别计算企业 5个指标的平均值,如表。 76.5 81.5 76 75.8 71.7 85 79.2 80.3 84.4 76.5 70.6 73 67.6 68.1 78.5 94 94 87.5 89.5 92 90.7 87.3 91 81.5 80 84.6 66.9 68.8 64.8 66.4 77.5 73.6 70.9 69.8 74.8 57.7 60.4 57.4 60.8 65 85.6 68.5 70 62.2 76.5 70 69.2 71.7 64.9 68.9 ;

50.Total Variance = 485.31477778 Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative PRIN1 410.506 367.242 0.845854 0.84585 PRIN2 43.264 22.594 0.089146 0.93500 PRIN3 20.670 12.599 0.042591 0.97759 PRIN4 8.071 5.266 0.016630 0.99422 PRIN5 2.805 . 0.005779 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.468814 -.830612 0.021406 0.254654 -.158081 X2 0.484876 0.329916 0.014801 -.287720 -.757000 X3 0.472744 -.021174 -.412719 -.588582 0.509213 X4 0.461747 0.430904 -.240845 0.706283 0.210403 X5 0.329259 0.122930 0.878054 -.084286 0.313677

51. 第一主成份的贡献率为 84.6% ,第一主成份 Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5 的各项系数大致相等,且均为正数,说明第一主成份对所 有的信用评价指标都有近似的载荷,是对所有指标的一个综 合测度,可以作为综合的信用等级指标。可以用来排序。将 原始数据的值中心化后,代入第一主成份 Z1 的表示式,计 算各企业的得分,并按分值大小排序 : 序号 1 2 3 4 5 6 7 8 9 10 得分 3.16 13.6 -9.01 35.9 25.1 -10.3 - -33.8 - -13.8 4.36 6.41 排序 4 3 7 1 2 8 5 10 6 9 在正确评估了顾客的信用等级后,就能正确制定出对其的信用期、收 帐政 策等,这对于加强应收帐款的管理大有帮助。

52. 例二 基于相关系数矩阵的主成分分析。对美国纽约上市的 有关化学产业的三个证券和石油产业的 2 个证券做了 100 周的 收益率调查。下表是其相关系数矩阵。 1 )利用相关系数矩阵做主成分分析。 2 )决定要保留的主成分个数,并解释意义。 1 0.577 0.509 0.0063 0.0037 0.577 1 0.599 0.389 0.52 0.509 0.599 1 0.436 0.426 0.387 0.389 0.436 1 0.523 0.462 0.322 0.426 0.523 1

53. Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative PRIN1 2.85671 2.04755 0.571342 0.57134 PRIN2 0.80916 0.26949 0.161833 0.73317 PRIN3 0.53968 0.08818 0.107935 0.84111 PRIN4 0.45150 0.10855 0.090300 0.93141 PRIN5 0.34295 . 0.068590 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.463605 -.240339 -.611705 0.386635 -.451262 X2 0.457108 -.509305 0.178189 0.206474 0.676223 X3 0.470176 -.260448 0.335056 -.662445 -.400007 X4 0.421459 0.525665 0.540763 0.472006 -.175599 X5 0.421224 0.581970 -.435176 -.382439 0.385024

54. §6 主成分分析主要有以下几方面的应用 根据主成分分析的定义及性质,我们已大体上能看 出主成分分析的一些应用。概括起来说,主成分分析主要有 以下几方面的应用。 1 .主成分分析能降低所研究的数据空间的维数。即用 研究 m 维的 Y 空间代替 p 维的 X 空间 (mm < p) ,而低维的 Y 空间代替 高维的 x 空间所损失的信息很少。即:使只有一 个主成分 Yl( 即 m = 1) 时,这个 Yl 仍是使用全部 X 变量 (mp 个 ) 得到的。例如要计算 Yl 的均值也得使用全部 x 的均 值。在所选的前 m 个主成分中,如果某个 Xi 的系数全部近 似于零的话,就可以把这个 Xi 删除,这也是一种删除多余变 量的方法。

55. 2 .有时可通过因子负荷 aij 的结构,弄清 X 变量间 的某些关系。 3. 多维数据的一种图形表示方法。我们知道当维数 大于 3 时便不能画出几何图形,多元统计研究的问题大 都多于 3 个变量。要把研究的问题用图形表示出来是不 可能的。然而,经过主成分分析后,我们可以选取前两 个主成分或其中某两个主成分,根据主成分的得分,画 出 n 个样品在二维平面上的分布况,由图形可直观地看 出各样品在主分量中的地位。

56. 4 .由主成分分析法构造回归模型。即把各主成 分作为新自变量代替原来自变量 x 做回归分析。 5 .用主成分分析筛选回归变量。回归变量的选 择有着重的实际意义,为了使模型本身易于做结构 分析、控制和预报,好从原始变量所构成的子集合 中选择最佳变量,构成最佳变量集合。用主成分分 析筛选变量,可以用较少的计算量来选择量,获得 选择最佳变量子集合的效果。

57.主成分回归介绍

58. 一、提出问题 国际旅游外汇收入是国民收入是国民 经济发展的重要组成部分,影响一个国家或地 区旅游收入的因素包括自然、文化、社会、经 济、交通等多方面的因素。《中国统计年鉴》 把第三次产业划分为 12 个组成部分,分别为:

59.x1 :农林牧渔服务业 x2 :地质勘查水利管理业 x3 :交通运输仓储和邮电通讯业 x4 :批发零售贸易和餐食业 x5 :金融保险业 x6 :房地产业 x7 :社会服务业 x8 :卫生体育和社会福利业 x9 :教育文艺和广播 x10 :科学研究和综合艺术 x11 :党政机关 x12 :其他行业 选自 1998 年我国 31 个省、市、自治区的数据。以旅游外汇收入 (百万美圆)为因变量。自变量的单位为亿元人民币。数据略。

60.  Coefficients 标准误差 t Stat P-value Intercept -205.236 116.8459 -1.75646 0.096008 X Variable 1 -1.40045 22.8676 -0.06124 0.951842 X Variable 2 2.675001 18.57508 0.14401 0.887092 X Variable 3 3.300877 2.464556 1.339339 0.197128 X Variable 4 -0.94402 1.296117 -0.72834 0.475774 X Variable 5 -5.5016 4.508593 -1.22025 0.238117 X Variable 6 4.054434 3.953745 1.025467 0.318728 X Variable 7 4.142 5.069984 0.816965 0.42463 X Variable 8 -15.3649 10.82589 -1.41927 0.172905 X Variable 9 17.36766 8.35337 2.079121 0.052178 X Variable 10 9.078883 10.14728 0.894711 0.38275 X Variable 11 -10.58 5.610696 -1.88569 0.075582 X Variable 12 1.350709 5.001504 0.27006 0.790186 这个模型是不理想的,一个最严重的问题是多重共线 性的问题。

61. 线性回归模型的方差分析表 方差来源 自由度 离差 方差 F 统计量 显著性 平方和 水平 回归分析 12 11690140 974178.3 10.51335 8.15025E- 06 残差 18 1667899 92661.04 总计 31 13358039   利用主成分的互不相关性来建立应变量与主成 分的回归,在理论上可以达到消除多重共线性。

62. 二、主成分回归方法 F1 u11 X 1  u21 X 2    u p1 X p F2 u12 X 1  u22 X 2    u p 2 X p  Fp u1 p X 1  u2 p X 2    u pp X p 主成分回归:Yi * 1F11  2 F12    m F1m   i n 2  Y i 1 i *  1Fi1  2 Fi 2    m Fim  min

63.  x11 x12  x1 p  x x22  x2 p  原始数据观测矩阵 X0   21      x xn 2  xnp   n1  u11 u12  u1 p  u u  u  U (u1 ,, u p )  21 22 2p  主成分系数矩阵     u u  u   p1 p2 pp 

64.  F11 F12  F1 p  F F22  F2 p  F   21 主成分得分矩阵     F Fn 2  Fnp   n1 F X 0 U

65. 根据最小二乘估计,则 基于协方差矩阵的主成分回归 γˆ (FF) 1 FY 基于相关系数矩阵的主成分回归 γˆ * (F*'F* ) 1 F*'Y γˆ (FF)  1 FY γ (UX0 X0 U) 1 UX0 Y U(X0 X0 ) 1 UUX0 Y Uβˆ 同理 γˆ * U*'βˆ *

66.主成分回归系数的协方差矩阵   Var ( γˆ ) Var Uβˆ UVar ( ˆ )U UVar  ( X0 X0 )  1 X0Y  U UVar  ( X0 X0 )  1 X0Y  U U Var  ( X0 X0 ) X0  Var  Y   ( X0 X0 ) X0  U    1     1     2 U ( X0 X0 )  1 X0   ( X0 X0 )  1 X0   U

67. 1  2   U ( X0 X 0 ) U 1  2   (U X0 X0 U )  2 (F 'F )  1 * 2 *' *  1 同理Var ( γ )  (F F ) ˆ

68. ˆ1    p ˆ2   FF ( n  1)     ˆ   p   2 ( n  1) ˆ1   2 ˆ2   ( n  1)   Var ( γ )       2 ˆ    (n  1)  p 

69.  ˆ1*   ˆ*  *' * p 2   F F (n  1)     ˆ*   p   2 (n  1) ˆ1*   2 ˆ*  *   (n  1) 2   Var ( γ )      2 ˆ*    (n  1)  p 

70. 三、主成分回归的实例 1 、经济分析数据 Y :进口总额 X1 : GDP X2 :积累总额 X3 :消费总额 求进口总额与 GDP 、积累总额和消费总额 之间的回归方程。

71.data a; input x1-x3 y; proc reg outest=b; cards; model y=x1-x3/pcomit=1,2 outvif; 149.3 4.2 108.1 15.9 proc print data=b; 161.2 4.1 114.8 16.4 171.5 3.1 123.2 19.0 proc standard data=a out=c mean=0 std=1; 175.5 3.1 126.9 19.1 var x1-x3 y; 180.8 1.1 132.1 18.8 proc princomp data=c out=d prefix=z; 190.7 2.2 137.7 20.4 var x1-x3; 202.1 2.1 146.0 22.7 proc reg data=d; 212.4 5.6 154.1 26.5 226.1 5.0 162.3 28.1 model y=z1 z2/noint; 231.9 5.1 164.3 27.6 run; 239.0 0.7 167.6 26.3 ;

72. Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model 3 204.77614 68.25871 285.61 <.0001 Error 7 1.67295 0.23899 Corrected Total 10 206.44909

73.Root MSE 0.48887 R-Square 0.9919 Dependent Mean 21.89091 Adj R-Sq 0.9884 Coeff Var 2.23321 Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > |t| Intercept 1 -10.12799 1.21216 -8.36 <.0001 x1 1 -0.05140 0.07028 -0.73 0.4883 x2 1 0.58695 0.09462 6.20 0.0004 x3 1 0.28685 0.10221 2.81 0.0263

74. Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 1.99915493 1.00100076 0.6664 0.6664 2 0.99815418 0.99546329 0.3327 0.9991 3 0.00269089 0.0009 1.0000 Eigenvectors F1 F2 F3 x1 0.706330 -.035689 0.706982 x2 0.043501 0.999029 0.006971 x3 0.706544 -.025830 -.707197

75.Obs x1 x2 x3 y* F1 F2 F3 1 -1.50972 0.54571 -1.53319 -1.31852 -2.12589 0.63866 0.020722 2 -1.11305 0.48507 -1.20848 -1.20848 -1.61893 0.55554 0.071113 3 -0.76971 -0.12127 -0.80140 -0.63625 -1.11517 -0.07298 0.021730 4 -0.63637 -0.12127 -0.62209 -0.61424 -0.89430 -0.08237 -0.010813 5 -0.45970 -1.33395 -0.37008 -0.68027 -0.64421 -1.30669 -0.072582 6 -0.12970 -0.66697 -0.09869 -0.32813 -0.19035 -0.65915 -0.026553 7 0.25031 -0.72761 0.30355 0.17807 0.35962 -0.74367 -0.042781 8 0.59365 1.39458 0.69610 1.01440 0.97180 1.35406 -0.062863 9 1.05032 1.03078 1.09350 1.36654 1.55932 0.96405 -0.023574 10 1.24366 1.09141 1.19042 1.25649 1.76700 1.01522 0.044988 11 1.48033 -1.57648 1.35035 0.97038 1.93110 -1.66266 0.080613

76. Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model 2 9.88278 4.94139 379.38 <.0001 Error 9 0.11722 0.01302 Uncorrected Total 11 10.0000 Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > |t| F1 1 0.68998 0.02552 27.03 <.0001 F2 1 0.19130 0.03612 5.30 0.0005

77.yˆ  0.68998F1  0.19130F2 yˆ  0.4804x1*  0.2211x2*  0.4825x3*

78.Obs MODEL TYPE DEPVAR PCOMIT RMSE Intercept x1 x2 x3 1 MODEL1 PARMS y . 0.48887 -10.128 -0.0514 0.58695 0.28685 2 MODEL1 IPCVIF y 1 . . 0.25083 1.00085 0.25038 3 MODEL1 IPC y 1 0.55001 -9.1301 0.07278 0.60922 0.10626 4 MODEL1 IPCVIF y 2 . . 0.24956 0.00095 0.24971 5 MODEL1 IPC y 2 1.05206 -7.7458 0.07381 0.08269 0.10735 1 VIF  1  R 2j 一般建议,当 VIF>10 时,多重共线性是严重的。 yˆ  9.130  0.0727 x1  0.6091x2  0.1062 x3 可见,系数的符号没有与经济概念相悖。

79. 2 、朗莱用美国联邦政府雇员人数 Y和国民总产 出隐含平减指数 X1 ,国民总产出 X2 ,失业人数 X3 ,武 装力量人数 X4 , 14 岁及以上非慈善机构人口数 X5 ,时 间变量 X6 。朗莱所用数据是美国 47—62 年数据,该例 是主成分回归用得较早的例子。

80. y x1 x2 x3 x4 x5 x6 1892 83 234289 2356 1590 107608 1947 1863 88.5 259426 2325 1456 108632 1948 1908 88.2 258054 3682 1616 109773 1949 1828 89.5 284599 3351 1650 110929 1950 2302 96.2 328975 2099 3099 112075 1951 2420 98.1 346999 1932 3594 113270 1952 2305 99 365385 1870 3547 115094 1953 2188 100 363112 3578 3350 116219 1954 2187 101.2 397469 2904 3048 117388 1955 2209 104.6 419180 2822 2857 118734 1956 2217 108.4 442769 2936 2798 120445 1957 2191 110.8 444546 4681 2637 121950 1958 2233 112.6 482704 3813 2552 123366 1950 2270 114.2 502601 3931 2514 125368 1660 2279 115.7 518175 4806 2572 127852 1961 2340 116.9 554894 4007 2827 130081 1962

81.Eigenvalues of the Correlation Matrix (相关系数矩阵的特征根) Eigenvalue Difference Proportion Cumulative (特征根) ( 差值) ( 贡献率) (累计贡献 率) 1 4.60337745 3.42803711 0.7672 0.7672 2 1.17534035 0.97191518 0.1959 0.9631 3 0.20342517 0.18849689 0.0339 0.9970 4 0.01492828 0.01237624 0.0025 0.9995 5 0.00255204 0.00217533 0.0004 0.9999 6 0.00037671 0.0001 1.0000

82.Eigenvectors (特征向量) Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.461835 0.057843 -.149120 -.792874 0.337934 -.135193 x2 0.461504 0.053211 -.277681 0.121625 -.149550 0.818485 x3 0.321317 -.595513 0.728306 -.007645 0.009235 0.107451 x4 0.201510 0.798193 0.561607 0.077255 0.024253 0.017970 x5 0.462279 -.045544 -.195985 0.589743 0.548569 -.311589 x6 0.464940 0.000619 -.128116 0.052285 -.749556 -.450388 F1 0.461835x1*  0.461504x2*  0.321317x3*  0.20151x4*  0.462279x5*  0.464940x6* F2 0.057843x1*  0.053211x2*  0.595513x3*  0.798193x4*  0.045544x5*  0.000619x6*

83.Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 3.47885 -0.75147 -0.30795 0.16424 0.008797 -0.002579 3.01051 -0.84904 -0.64223 -0.12592 0.061546 -0.011980 2.34330 -1.54000 0.49343 0.00882 0.005746 -0.005062 2.09390 -1.27632 0.11129 0.06126 -0.061845 0.013677 1.43824 1.23579 0.02909 -0.09746 0.052257 0.042682 …… 0.09951 0.69349 0.09757 0.10111 -0.098808 0.018926 0.44943 0.54784 -0.29295 -0.01756 -0.083762 -0.014139 0.95506 0.42945 -0.44524 -0.11933 -0.023694 -0.027154

84. Sum of Mean Source DF Squares Square F Value Pr > F Model 6 498504 83084 47.22 <.0001 Error 9 15836 1759.57184 Corrected Total 15 514340 Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > |t| Intercept 1 386505 122516 3.15 0.0116 x1 1 13.71162 11.68424 1.17 0.2707 x2 1 0.00846 0.00461 1.84 0.0995 x3 1 0.09405 0.06720 1.40 0.1952 x4 1 0.20562 0.02948 6.97 <.0001 x5 1 -0.00435 0.03111 -0.14 0.8918 x6 1 -199.20213 62.67100 -3.18 0.0112

85._MODEL_ _TYPE_ _PCOMIT_ _RMSE_ Inte)rce)pt x1 x2 x3 x4 x5 x6 MODEL1 PARMS . 41.9473 386504.91 13.7116 0.0085 0.09405 0.20562 -0.004 -199.202 MODEL1 IPCVIF 1 . . 87.0179 10.1823 2.96899 2.73164 141.452 220.461 MODEL1 IPC 1 47.8401 176723.59 27.7054 -0.0007 -0.03439 0.17677 0.046 -93.531 MODEL1 IPCVIF 2 . . 42.2698 1.4186 2.93557 2.50115 23.535 0.311 MODEL1 IPC 2 58.5686 -7444.27 8.2039 0.0002 -0.04055 0.15507 -0.003 4.515 MODEL1 IPCVIF 3 . . 0.1585 0.4277 2.93165 2.10135 0.237 0.128 MODEL1 IPC 3 56.9331 -9223.76 2.9078 0.0003 -0.04114 0.16307 0.003 5.307 SAS 的回归分析( REG )过程中,带有主成分回归的功能, 在这个功能中, SAS 不仅用因变量的标准化值建立了与主成分之间 的回归方程,并且将回归方程还原为以原始变量为自变量,以因变 量 Y 为被解释变量的模型。

86. 前面介绍的主成分分析方法,成功地实现了截面数 据的最佳综合和简化。然而,在现实生活中,随着时间的发展 于数据的积累,人们开始拥有大量按时间顺序排列的平面数据 表序列,这样一组按时间顺序排放的数据表序列就像一个数据 匣,被称为时序立体数据表。 本章将介绍如何对这种多维动态数据系统进行立体式的综 合简化,并在此基础上,迅速提取立体数据表中的重要信息, 充分发掘其中的丰富内涵,从而简化扼要地把握系统的动态规 律。