WPR-9.5.ppt - VRL

カーネル主成分分析. 和田俊和. 主成分分析とは? 通常のPCAは,正準化された 個の 次元データ , から計算される共分散行列 の固有値問題を解くことと等価である. これは ...
展开查看详情

1.パターン認識特論 カーネル主成分分析 和田俊和

2. 主成分分析とは? • 通常の PCA は,正準化された  個の  M N M  次元データ      xi  R  xi  0 ,      から N i1 計算される共分散行列          M 1 C  M i 1 x x i i T の固有値問題を解くことと等価である. C  ,固有ベクトル • これは  の固有値を  v Cv   v を   と表すと,  v を満足する と を求める問題である.

3.固有ベクトルはデータの線形結合 • この  と固有ベクトル  を掛け合わせると, C v 1 M Cv   M i 1 ( xi v )xi  となる.これと,      を考慮すると,  が Cv   v v x (i  1,, M )            の線形結合で表わされるこ i とが分かる.つまり, M 1                    である. v ( xi v )xi M  i 1

4. xi 固有方程式は  に射影しても成立 Cv   v xi •       は各  に射影した後にも 成立する. (i  1 M ), x i Cv   ( x i v ) • この性質は後のカーネル化で用いる.

5. 高次元化とカーネル化 • データを適当な非線形高次元写像  によって高次元特徴空間  に移して, F そこで処理を行う. • 実際に,この写像を行うと,次元数が高 k ( x, y )  Φ ( x) Φ ( y ) く計算不可能となるため,               となるカーネル関数 を Φ ( x) 用いて内積計算のみを行い,実際に      を計算しないようにする.

6. 主成分分析の場合1 • 主成分分析の場合には 1 M C  M i 1 Φ ( x i )Φ ( xi ) T 2  と計算することになるが,これは    F の空間に属するので,実際には計算でき ない. • ここで,前の議論と同じく次式が成り立 つ.

7. 主成分分析の場合2 • また,固有ベクトルはデータの線形結合 で表現できることから, M VΦ  x i ( i ) i 1  が成り立つ. • これら 2 つの式から,次式が成り立つ. M M Φ (xk ) C   iΦ ( xi ) Φ (xk )   iΦ ( xi ) i 1 i 1

8. 主成分分析の場合3 M 1 C  • この式に,              M i 1 Φ ( xi )Φ ( xi )T    を代入し, M M M 1 Φ (xk )  M  j Φ ( j 1 x )Φ ( x j ) T  iΦ( xi ) Φ(xk )  iΦ( xi ) i 1 i 1 M が得られる.これを整理して, 1 M M    iΦ (xk ) Φ ( xi )    (Φ (x )  i Φ ( x ))(Φ ( x ) Φ k ( x )) j j j i 1 M i 1 j 1 M  Kα  K α 2 M  αα K            但し K  (x ) ( x )ij i j

9. 注意点 M • M  αα K           を解くと,     VΦ x  ( ) i 1 i i       の係数が分かる. •   の正規化をしなければならない. V

10. 結果の使い方 • 固有ベクトルへの射影成分 は    と計算できる. t • 一般のベクトル  の射影成分は,  と書ける.

11.M 正準化1  Φ( x )  0 •         を保証する正準化処理は,カーネルの変形 i1 i によってなされる. K ij  Φ ( xi )T Φ ( x j ) T  1 M   1 M    Φ ( xi )   M n 1 Φ ( xn )  Φ ( x j )    M  m 1 Φ ( xm)  1 M  Φ ( xi ) Φ ( xi )   Φ ( x n ) T Φ ( x j ) T M n 1 M M 1 1  M  m 1 Φ ( xi ) Φ ( x m )  2 T M  n Φ ( xm ) Φ ( x n .m 1 ) T M M M 1 1 1  K ij  M  n 1 K nj  M  m 1 K im  2 M K n , m 1 nm • この変形により,元のデータが正規化された場合のカーネル 関数が得られる.

12. 正準化2 • このカーネル関数から固有値と固有ベク トルが求められる. • また,固有ベクトルへの射影を計算する 際にも平均値を引く必要があるが, という形で計算をすることができる.

13. 2次形式の計算方法1 • 共分散行列を以下のように表わす. M M 1 C M  i i  ii i Φ ( i 1 x )Φ ( x ) T   VV T i 1 • 逆行列は      から, C 1C  I M 1 C   VV 1 T  i i M i 1 i VΦ  •           を代入すると x i ( i ) i 1 M M 1 C  1  i j i   k k Φ ( x )Φ ( x )T k 1 k j i , j 1

14. 2次形式の計算方法2 T 1 Φ ( t ) C • 2 次形式        の計算を行うと, Φ (t ) T 1 Φ (t ) C Φ (t )  M 1 M n n   Φ (t )     i  j Φ ( xi )Φ ( x j )  Φ (t ) T T  n 1 n i , j 1  M 1 M n n     i  j Φ (t ) Φ ( xi )Φ ( x j ) Φ (t ) T T n 1 n i , j 1 M M 1    n n k ( t , xi ) k ( x j , t ) n 1 n i j i , j 1 となる.

15. 課題 • Transpose   Trick において求めた元の空 間での固有ベクトルに,高次元のベクト ルを射影する計算を示しなさい.