主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。本章主要介绍主成分分析、主成分回归、立体数据表的主成分分析几个内容。首先介绍了主成分分析的基本思想以及数学模型和几何解释,其次介绍主成分的推导及性质以及原始变量与主成分之间的相关系数,随后通过举例说明了主成分分析的过程与作用。在主成分回归部分通过举例说明介绍了其应用。最后在时序立体数据表迅速提取重要信息的方法。

注脚

展开查看详情

1.主成分分析

2.•主成分分析 •主成分回归 •立体数据表的主成分分析

3. §1 基本思想 一项十分著名的工作是美国的统计学家斯通 (stone)stone)) 在 1947 年关于国民经济的研究。他曾利用 美国 1929 一 1938 年各年的数据,得到了 17 个反映 国民收入与支出的变量要素,例如雇主补贴、消费 资料和生产资料、纯公共支出、净增库存、股息、 利息外贸平衡等等。

4. 在进行主成分分析后,竟以 97.4 %的精 度,用三新变量就取代了原 17 个变量。根据 经济学知识,斯通给这三个新变量分别命名为 总收入 F1 、总收入变化率 F2 和经济发展或衰 退的趋势 F3 。更有意思的是,这三个变量其 实都是可以直接测量的。斯通将他得到的主成 分与实际测量的总收入 I 、总收入变化率 I 以及时间 t 因素做相关分析,得到下表:

5.  F1 F2 F3 i i t F1 1           F2 0 1         F3 0 0 1       i 0.995 -0.041 0.057 l     Δi -0.056 0.948 -0.124 -0.102 l   t -0.369 -0.282 -0.836 -0.414 -0.112 1

6. 主成分分析是把各变量之间互相关联的复 杂关系进行简化分析的方法。 在社会经济的研究中,为了全面系统的分析 和研究问题,必须考虑许多经济指标,这些指标 能从不同的侧面反映我们所研究的对象的特征, 但在某种程度上存在信息的重叠,具有一定的相 关性。

7. 主成分分析试图在力保数据信息丢失最 少的原则下,对这种多变量的截面数据表进 行最佳综合简化,也就是说,对高维变量空 间进行降维处理。 很显然,识辨系统在一个低维空间要比在 一个高维空间容易得多。

8. 在力求数据信息丢失最少的原则下,对高维的变 量空间降维,即研究指标体系的少数几个线性组合 ,并且这几个线性组合所构成的综合指标将尽可能 多地保留原来指标变异方面的信息。这些综合指标 就称为主成分。要讨论的问题是: (stone)1) 基于相关系数矩阵还是基于协方差 矩阵做主成分分析。当分析中所选择的经济变 量具有不同的量纲,变量水平差异很大,应该 选择基于相关系数矩阵的主成分分析。

9. ( 2 ) 选择几个主成分。主成分分析的 选择几个主成分。主成分分析的 目的是简化变量,一般情况下主成分的个数 应该小于原始变量的个数。关于保留几个主 成分,应该权衡主成分个数和保留的信息。 ( 3 ) 选择几个主成分。主成分分析的 如 何解释主成分所包含的经济意义 。

10. §2 数学模型与几何解释 假设我们所讨论的实际问题中,有 p 个指 标,我们把这 p 个指标看作 p 个随机变量,记为 X1 , X2 ,…, Xp ,主成分分析就是要把这 p 个 指标的问题,转变为讨论 p 个指标的线性组合的 问题,而这些新的指标 F1 , F2 ,…, Fk(stone)k≤p ) 选择几个主成分。主成分分析的 ,按照保留主要信息量的原则充分反映原指标的 信息,并且相互独立。

11. 这种由讨论多个指标降为少数几个综合 指标的过程在数学上就叫做降维。主成分分析 通常的做法是,寻求原指标的线性组合 Fi 。 F1 u11 X 1  u21 X 2    u p1 X p F2 u12 X 1  u22 X 2    u p 2 X p  Fp u1 p X 1  u2 p X 2    u pp X p

12.满足如下的条件: 每个主成分的系数平方和为 1 。即 2 2 2 u  u    u 1 1i 2i pi 主成分之间相互独立,即无重叠的信息。即 Cov(Fi,Fj)0,i  j,i,j 1, 2, ,p 主成分的方差依次递减,重要性依次递减,即 Var(F1)Var ( F2 )  Var ( Fp )

13. 平移、旋转坐标轴 x2 F1 F2 •• • • • • • • • • • • •• • •• • •• 释 解 何 几 的 析 分 成 主 • • • •• • • • x1 •• • • • • • • •

14. 平移、旋转坐标轴 x2 F1 F2 • •• ••• • ••• • • •• • ••• • • •• • 释 解 何 几 的 析 分 成 主 • • •• •• • x1 • ••• • •• •

15. 平移、旋转坐标轴 x2 F1 F2 • ••• ••• • •• •• ••• •• • 释 解 何 几 的 析 分 成 主 •• •• x1 •• ••• •• •• • •

16.平移、旋转坐标轴 x2 F1 F2 • • •• • • • • • • • • ••• •• • • • • • • ••• • • • •• • •••• • • •• • • • • • •• •• • ••• • • • • • 释 解 何 几 的 析 分 成 主 • • • • • • x1 • • •• • • • • • • • • • •• • • • • • • • • • •• • • • •• • •

17. 为了方便,我们在二维空间中讨论主成分的几何 意义。 设有 n 个样品,每个样品有两个观测变量 xl 和 x2 ,在由变量 xl 和 x2 所确定的二维平面中, n 个样本点所 散布的情况如椭圆状。由图可以看出这 n 个样本点无论是 沿着 xl 轴方向或 x2 轴方向都具有较大的离散性,其离散 的程度可以分别用观测变量 xl 的方差和 x2 的方差定量地 表示。显然,如果只考虑 xl 和 x2 中的任何一个,那么包 含在原始数据中的经济信息将会有较大的损失。

18.• 如果我们将 xl 轴和 x2 轴先平移,再同 时按逆时针方向旋转角度,得到新坐标轴 Fl 和 F2 。 Fl 和 F2 是两个新变量。

19. 根据旋转变换的公式:  y1  x1 cos  x2 sin    y1  x1 sin   x2 cos  y1   cos sin   x1       Ux  y2    sin  cos  x2  U为旋转变换矩阵,它是正交矩阵,即有 U U  1 , UU I

20. 旋转变换的目的是为了使得 n 个样品 点在 Fl 轴方向上的离 散程度最大,即 Fl 的方差 最大。变量 Fl 代表了原始数据的绝大 部分信息 ,在研究某经济问题时,即使不考虑变量 F2 也 无损大局。经过上述旋转变换原始数据的大部 分信息集中到 Fl 轴上,对数据中包含的信息起 到了浓缩作用。

21. Fl , F2 除了可以对包含在 Xl , X2 中的信息起 着浓缩作用之外,还具有不相关的性质,这就使 得在研究复杂的问题时避免了信息重叠所带来的 虚假性。二维平面上的个点的方差大部分都归结 在 Fl 轴上,而 F2 轴上的方差很小。 Fl 和 F2 称为 原始变量 x1 和 x2 的综合变量。 F 简化了系统结 构,抓住了主要矛盾。

22. §3 主成分的推导及性质 一、两个线性代数的结论 1 、若 A是 p阶实对称阵,则一定可以找到正交阵 U,使 1 0  0 0   0 1 U AU   2      0 0   p  p  p  其中 i , i 1.2.是  A的特征根。 p

23.2 、若上述矩阵的特征根所对应的单位特征向量 为 u1 ,, u p  u11 u12  u1 p  u u  u  令 U (u1 ,, u p )  21 22 2p      u u  u   p1 p2 pp  则实对称阵 A属于不同特征根所对应的特征向 量是正交的,即有UU UU I

24. 二、主成分的推导 (一) 第一主成分   12  12   1 p   2  2p 2  设 X的协方差阵为 Σ x   21      2   p1  p 2   p  由于 Σx 为非负定的对称阵,则有利用线性代数的 知识可得,必存在正交阵 U,使得 1 0 UΣ X U      0  p 

25. 其中 1 ,  2 ,…,  p 为 Σx 的特征根,不妨 假设 1 2  … p 。而 U恰好是由特征根相对 应的特征向量所组成的正交阵。  u11 u12  u1 p  u u  u  U (u1 ,, u p )  21 22 2p  i     u u  u   p1 p2 pp   U i u1i,u2i, ,u pi  i 1,2,, P 下面我们来看,是否由 U 的第一列元素所构成为原始 变量的线性组合是否有最大的方差。

26.   设有 P维正交向量 a1  a11 , a21 ,, a p1  F1 a11 X 1    a p1 X p aX 1   2  V ( F1 ) a1a1 a1U   Ua1        p  1   u1   2   u  a1 u1 ,u 2 ,,u p     2 a1          p  up   

27. p  iaui uia i 1 p  i (au i ) 2 i 1 p 1  (au i ) 2 i 1 p 1  auiuia i 1 1aUUa 1aa 1

28. F1 u11 X 1    u p1 X p 当且仅当 a1 =u1 时,即 时, 有最大的方差 1 。因为 Var(stone)F1)=U’1xU1=1 。 如果第一主成分的信息不够,则需要寻找第二主成 分。

29. (二) 第二主成分 ) 0 在约束条件 下,寻找第二主成分 cov( F1 , F2 下,寻找第二主成分 F2 u12 X 1    u p 2 X p 因为 cov( F1 , F2 ) cov( u1x, u2 x ) u2u1 1u2u1 0 所以 u2u1 0 则,对 p 维向量 u2 ,有 p p p V ( F2 ) u2u2   i u2u i ui u 2   i (u2u i ) 2  (u2u i ) 2 2 i 1 i 1 i 2