基底変換後の分散共分散行列

以下のような (m次元) から (r次元) への基底変換を考える.

Wikipediaによれば

らしい.

なんでも証明しないと気が済まない質なので証明してみました.単なる式展開ですが・・・
半年前からやろうと思っていたことなので,これでスッキリ♪

証明

とりあえず以下のようにベクトル・行列を定義します.

 ← サンプル数nの n x m 行列

 ← xの平均値ベクトル

 ← 平均値ベクトルを並べた n x m 行列

以下のように展開していきます.

一応1行目の展開を補足すると以下のようになります.

こっちの書き方のほうが見慣れている人もいるかもしれません.

ところで,「情報検索アルゴリズム」では索引語・文書行列Dの分散共分散行列Sを算出する際に

としていますが,Rでは分散共分散行列の算出に

を採用しているようなので,証明にもその書き方を採用しました.
多変量解析やパターン認識ではこっちの方がメジャーそうですし.
サンプルを行に並べるか列に並べるかの違いですけどね.あと標本分散か不偏分散か.

広告
はじめまして NMF: Non-negative Matrix Factorization(非負値行列因子分解)
※このエントリーははてなダイアリーから移行したものです。過去のコメントなどはそちらを参照してください