WPR-9.5.ppt - VRL

1 .パターン認識特論 ｶｰﾈﾙ主成分分析 和田俊和 

2 . 主成分分析とは？ • 通常の PCA は，正準化された　　個の　 M N M 　次元データ　　　　　 xi  R  xi  0 , 　　　　　から N i1 計算される共分散行列　　　　　　　　　 M 1 C  M i 1 x x i i T の固有値問題を解くことと等価である． C  ，固有ベクトル • これは　　の固有値を　 v Cv   v を　　　と表すと，  v を満足する と を求める問題である． 

3 .固有ベクトルはデータの線形結合 • この　　と固有ベクトル　　を掛け合わせると， C v 1 M Cv   M i 1 ( xi v )xi 　となる．これと，　　　　　　を考慮すると， 　が Cv   v v x (i  1,, M ) 　　　　　　　　　　　の線形結合で表わされるこ i とが分かる．つまり， M 1  　　　　　　　　　　　　　　　　　　である． v ( xi v )xi M  i 1 

4 . xi 固有方程式は　　に射影しても成立 Cv   v xi • 　　　　　　は各　　に射影した後にも 成立する． (i  1 M ), x i Cv   ( x i v ) • この性質は後のｶｰﾈﾙ化で用いる． 

5 . 高次元化とｶｰﾈﾙ化 • データを適当な非線形高次元写像 　によって高次元特徴空間　　に移して， F そこで処理を行う． • 実際に，この写像を行うと，次元数が高 k ( x, y )  Φ ( x) Φ ( y ) く計算不可能となるため，　　　　　　 　　　　　　　　となるカーネル関数 を Φ ( x) 用いて内積計算のみを行い，実際に　　 　　 を計算しないようにする． 

6 . 主成分分析の場合１ • 主成分分析の場合には 1 M C  M i 1 Φ ( x i )Φ ( xi ) T 2 　と計算することになるが，これは　　　 F の空間に属するので，実際には計算でき ない． • ここで，前の議論と同じく次式が成り立 つ． 

7 . 主成分分析の場合２ • また，固有ベクトルはデータの線形結合 で表現できることから， M VΦ  x i ( i ) i 1 　が成り立つ． • これら 2 つの式から，次式が成り立つ． M M Φ (xk ) C   iΦ ( xi ) Φ (xk )   iΦ ( xi ) i 1 i 1 

8 . 主成分分析の場合３ M 1 C  • この式に，　　　　　　　　　　　　　 M i 1 Φ ( xi )Φ ( xi )T 　　　を代入し， M M M 1 Φ (xk )  M  j Φ ( j 1 x )Φ ( x j ) T  iΦ( xi ) Φ(xk )  iΦ( xi ) i 1 i 1 M が得られる．これを整理して， 1 M M    iΦ (xk ) Φ ( xi )    (Φ (x )  i Φ ( x ))(Φ ( x ) Φ k ( x )) j j j i 1 M i 1 j 1 M  Kα  K α 2 M  αα K 　　　　　　　　　　　但し K  (x ) ( x )ij i j 

9 . 注意点 M • M  αα K  　　　　　　　　　を解くと，　　　　 VΦ x  ( ) i 1 i i 　　　　　　の係数が分かる． • 　　の正規化をしなければならない． V 

10 . 結果の使い方 • 固有ベクトルへの射影成分 は 　 　と計算できる． t • 一般のベクトル　　の射影成分は， 　と書ける． 

11 .M 正準化１  Φ( x )  0 • 　　　　　　　　を保証する正準化処理は，カーネルの変形 i1 i によってなされる． K ij  Φ ( xi )T Φ ( x j ) T  1 M   1 M    Φ ( xi )   M n 1 Φ ( xn )  Φ ( x j )    M  m 1 Φ ( xm)  1 M  Φ ( xi ) Φ ( xi )   Φ ( x n ) T Φ ( x j ) T M n 1 M M 1 1  M  m 1 Φ ( xi ) Φ ( x m )  2 T M  n Φ ( xm ) Φ ( x n .m 1 ) T M M M 1 1 1  K ij  M  n 1 K nj  M  m 1 K im  2 M K n , m 1 nm • この変形により，元のデータが正規化された場合のカーネル 関数が得られる． 

12 . 正準化２ • このカーネル関数から固有値と固有ベク トルが求められる． • また，固有ベクトルへの射影を計算する 際にも平均値を引く必要があるが， という形で計算をすることができる． 

13 . ２次形式の計算方法１ • 共分散行列を以下のように表わす． M M 1 C M  i i  ii i Φ ( i 1 x )Φ ( x ) T   VV T i 1 • 逆行列は　　　　　　から， C 1C  I M 1 C   VV 1 T  i i M i 1 i VΦ  • 　　　　　　　　　　を代入すると x i ( i ) i 1 M M 1 C  1  i j i   k k Φ ( x )Φ ( x )T k 1 k j i , j 1 

14 . ２次形式の計算方法２ T 1 Φ ( t ) C • 2 次形式　　　　　　　　の計算を行うと， Φ (t ) T 1 Φ (t ) C Φ (t )  M 1 M n n   Φ (t )     i  j Φ ( xi )Φ ( x j )  Φ (t ) T T  n 1 n i , j 1  M 1 M n n     i  j Φ (t ) Φ ( xi )Φ ( x j ) Φ (t ) T T n 1 n i , j 1 M M 1    n n k ( t , xi ) k ( x j , t ) n 1 n i j i , j 1 となる． 

15 . 課題 • Transpose 　 Trick において求めた元の空 間での固有ベクトルに，高次元のベクト ルを射影する計算を示しなさい．