AI：主成分分析

1 .主成分分析 

2 .•主成分分析 •主成分回归 •立体数据表的主成分分析 

3 . §1 基本思想 一项十分著名的工作是美国的统计学家斯通 (stone)stone)) 在 1947 年关于国民经济的研究。他曾利用 美国 1929 一 1938 年各年的数据，得到了 17 个反映 国民收入与支出的变量要素，例如雇主补贴、消费 资料和生产资料、纯公共支出、净增库存、股息、 利息外贸平衡等等。 

4 . 在进行主成分分析后，竟以 97.4 ％的精 度，用三新变量就取代了原 17 个变量。根据 经济学知识，斯通给这三个新变量分别命名为 总收入 F1 、总收入变化率 F2 和经济发展或衰 退的趋势 F3 。更有意思的是，这三个变量其 实都是可以直接测量的。斯通将他得到的主成 分与实际测量的总收入 I 、总收入变化率 I 以及时间 t 因素做相关分析，得到下表： 

5 .  F1 F2 F3 i i t F1 1           F2 0 1         F3 0 0 1       i 0.995 -0.041 0.057 l     Δi -0.056 0.948 -0.124 -0.102 l   t -0.369 -0.282 -0.836 -0.414 -0.112 1 

6 . 主成分分析是把各变量之间互相关联的复 杂关系进行简化分析的方法。 在社会经济的研究中，为了全面系统的分析 和研究问题，必须考虑许多经济指标，这些指标 能从不同的侧面反映我们所研究的对象的特征， 但在某种程度上存在信息的重叠，具有一定的相 关性。 

7 . 主成分分析试图在力保数据信息丢失最 少的原则下，对这种多变量的截面数据表进 行最佳综合简化，也就是说，对高维变量空 间进行降维处理。 很显然，识辨系统在一个低维空间要比在 一个高维空间容易得多。 

8 . 在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合 ，并且这几个线性组合所构成的综合指标将尽可能 多地保留原来指标变异方面的信息。这些综合指标 就称为主成分。要讨论的问题是： (stone)1) 基于相关系数矩阵还是基于协方差 矩阵做主成分分析。当分析中所选择的经济变 量具有不同的量纲，变量水平差异很大，应该 选择基于相关系数矩阵的主成分分析。 

9 . （ 2 ） 选择几个主成分。主成分分析的 选择几个主成分。主成分分析的 目的是简化变量，一般情况下主成分的个数 应该小于原始变量的个数。关于保留几个主 成分，应该权衡主成分个数和保留的信息。 （ 3 ） 选择几个主成分。主成分分析的 如 何解释主成分所包含的经济意义 。 

10 . §2 数学模型与几何解释 假设我们所讨论的实际问题中，有 p 个指 标，我们把这 p 个指标看作 p 个随机变量，记为 X1 ， X2 ，…， Xp ，主成分分析就是要把这 p 个 指标的问题，转变为讨论 p 个指标的线性组合的 问题，而这些新的指标 F1 ， F2 ，…， Fk(stone)k≤p ） 选择几个主成分。主成分分析的 ，按照保留主要信息量的原则充分反映原指标的 信息，并且相互独立。 

11 . 这种由讨论多个指标降为少数几个综合 指标的过程在数学上就叫做降维。主成分分析 通常的做法是，寻求原指标的线性组合 Fi 。 F1 u11 X 1  u21 X 2    u p1 X p F2 u12 X 1  u22 X 2    u p 2 X p  Fp u1 p X 1  u2 p X 2    u pp X p 

12 .满足如下的条件： 每个主成分的系数平方和为 1 。即 2 2 2 u  u    u 1 1i 2i pi 主成分之间相互独立，即无重叠的信息。即 Cov（Fi，Fj）0，i  j，i，j 1， 2， ，p 主成分的方差依次递减，重要性依次递减，即 Var（F1）Var ( F2 )  Var ( Fp ) 

13 . 平移、旋转坐标轴 x2 F1 F2 •• • • • • • • • • • • •• • •• • •• 释 解 何 几 的 析 分 成 主 • • • •• • • • x1 •• • • • • • • • 

14 . 平移、旋转坐标轴 x2 F1 F2 • •• ••• • ••• • • •• • ••• • • •• • 释 解 何 几 的 析 分 成 主 • • •• •• • x1 • ••• • •• • 

15 . 平移、旋转坐标轴 x2 F1 F2 • ••• ••• • •• •• ••• •• • 释 解 何 几 的 析 分 成 主 •• •• x1 •• ••• •• •• • • 

16 .平移、旋转坐标轴 x2 F1 F2 • • •• • • • • • • • • ••• •• • • • • • • ••• • • • •• • •••• • • •• • • • • • •• •• • ••• • • • • • 释 解 何 几 的 析 分 成 主 • • • • • • x1 • • •• • • • • • • • • • •• • • • • • • • • • •• • • • •• • • 

17 . 为了方便，我们在二维空间中讨论主成分的几何 意义。 设有 n 个样品，每个样品有两个观测变量 xl 和 x2 ，在由变量 xl 和 x2 所确定的二维平面中， n 个样本点所 散布的情况如椭圆状。由图可以看出这 n 个样本点无论是 沿着 xl 轴方向或 x2 轴方向都具有较大的离散性，其离散 的程度可以分别用观测变量 xl 的方差和 x2 的方差定量地 表示。显然，如果只考虑 xl 和 x2 中的任何一个，那么包 含在原始数据中的经济信息将会有较大的损失。 

18 .• 如果我们将 xl 轴和 x2 轴先平移，再同 时按逆时针方向旋转角度，得到新坐标轴 Fl 和 F2 。 Fl 和 F2 是两个新变量。 

19 . 根据旋转变换的公式：  y1  x1 cos  x2 sin    y1  x1 sin   x2 cos  y1   cos sin   x1       Ux  y2    sin  cos  x2  U为旋转变换矩阵，它是正交矩阵，即有 U U  1 , UU I 

20 . 旋转变换的目的是为了使得 n 个样品 点在 Fl 轴方向上的离 散程度最大，即 Fl 的方差 最大。变量 Fl 代表了原始数据的绝大 部分信息 ，在研究某经济问题时，即使不考虑变量 F2 也 无损大局。经过上述旋转变换原始数据的大部 分信息集中到 Fl 轴上，对数据中包含的信息起 到了浓缩作用。 

21 . Fl ， F2 除了可以对包含在 Xl ， X2 中的信息起 着浓缩作用之外，还具有不相关的性质，这就使 得在研究复杂的问题时避免了信息重叠所带来的 虚假性。二维平面上的个点的方差大部分都归结 在 Fl 轴上，而 F2 轴上的方差很小。 Fl 和 F2 称为 原始变量 x1 和 x2 的综合变量。 F 简化了系统结 构，抓住了主要矛盾。 

22 . §3 主成分的推导及性质 一、两个线性代数的结论 1 、若 A是 p阶实对称阵，则一定可以找到正交阵 U，使 1 0  0 0   0 1 U AU   2      0 0   p  p  p  其中 i , i 1.2.是  A的特征根。 p 

23 .2 、若上述矩阵的特征根所对应的单位特征向量 为 u1 ,, u p  u11 u12  u1 p  u u  u  令 U (u1 ,, u p )  21 22 2p      u u  u   p1 p2 pp  则实对称阵 A属于不同特征根所对应的特征向 量是正交的，即有UU UU I 

24 . 二、主成分的推导 （一） 第一主成分   12  12   1 p   2  2p 2  设 X的协方差阵为 Σ x   21      2   p1  p 2   p  由于 Σx 为非负定的对称阵，则有利用线性代数的 知识可得，必存在正交阵 U，使得 1 0 UΣ X U      0  p  

25 . 其中 1 ，  2 ，…，  p 为 Σx 的特征根，不妨 假设 1 2  … p 。而 U恰好是由特征根相对 应的特征向量所组成的正交阵。  u11 u12  u1 p  u u  u  U (u1 ,, u p )  21 22 2p  i     u u  u   p1 p2 pp   U i u1i，u2i， ，u pi  i 1,2,, P 下面我们来看，是否由 U 的第一列元素所构成为原始 变量的线性组合是否有最大的方差。 

26 .   设有 P维正交向量 a1  a11 , a21 ,, a p1  F1 a11 X 1    a p1 X p aX 1   2  V ( F1 ) a1a1 a1U   Ua1        p  1   u1   2   u  a1 u1 ,u 2 ,,u p     2 a1          p  up    

27 . p  iaui uia i 1 p  i (au i ) 2 i 1 p 1  (au i ) 2 i 1 p 1  auiuia i 1 1aUUa 1aa 1 

28 . F1 u11 X 1    u p1 X p 当且仅当 a1 =u1 时，即 时， 有最大的方差 1 。因为 Var(stone)F1)=U’1xU1=1 。 如果第一主成分的信息不够，则需要寻找第二主成 分。 

29 . （二） 第二主成分 ) 0 在约束条件 下，寻找第二主成分 cov( F1 , F2 下，寻找第二主成分 F2 u12 X 1    u p 2 X p 因为 cov( F1 , F2 ) cov( u1x, u2 x ) u2u1 1u2u1 0 所以 u2u1 0 则，对 p 维向量 u2 ，有 p p p V ( F2 ) u2u2   i u2u i ui u 2   i (u2u i ) 2  (u2u i ) 2 2 i 1 i 1 i 2