独立性の仮定と平均場近似の関係

()

PRML の10章（下巻 p. 178）に、変分推論において確率分布 q が次のように分解できる形を用いることに関して「物理学で平均場近似 (mean field approximation) (Parisi, 1988) と呼ばれる近似法に対応している.」と書いてあります。
q(\mathbf Z) = \displaystyle \prod^M_{i=1}q_i(\mathbf z_i)

つまり、独立性の仮定が平均場近似に対応するってことですよね？

たしか私が初めて平均場近似という言葉を聞いたのが LDA (Latent Dirichlet Allocation) を勉強していた時です。
おそらく LDA のパラメータ推定で使われている変分ベイズについて調べている時に聞いた言葉だと思いますが、輪講で LDA を紹介している時に「それって平均場近似だよね？」と突っ込まれたこともあり、今まで LDA を理解するためには平均場近似を理解しないといけないというほど強烈な印象を持っていました。

コトバンクで平均場近似を調べると次のように書いてあります。

相互作用している粒子の集団を考えよう。一つの粒子には周囲の粒子から時々刻々いろいろな力が働いているが，その力のポテンシャルを平均してしまって，着目している粒子が他の粒子からは独立して，この平均されたポテンシャル(平均場)の中を運動しているものと考えると，むずかしい多粒子問題も一粒子問題におきかえることができる。この一粒子問題を解けば，すべての粒子がそれぞれの解に従って運動しているとして，平均場が計算できる。

直感的に説明すると、要は他の要素からの影響を受けないように平均値を使用するのです。他の要素からの影響を受けないってことは独立ですよね。
でもやっぱりしっくりこないです。

平均場近似とはなんぞや？

私は物理系の出身じゃないので間違いも多々あると思いますが、私なりの説明をさせていただきます。しっかり勉強したい方はおそらく統計力学を勉強すると理解できると思います。

ある状態 z にある気体分子の確率分布は次のように表されるそうです（ボルツマン分布）。1
P(\mathbf{z}) = \frac{\exp\left(-E(\mathbf{z})\right)}{\displaystyle \sum_{\mathbf{z'}}\exp\left(-E(\mathbf{z'})\right)}

E(z) はハミルトニアン（エネルギー量）に対応します。

平均場近似を用いることで物理学における多くのモデルに対する確率分布が次の形で近似できるというのが、PRML の説明なのかと思います。
\displaystyle P(\mathbf{z}) \simeq \prod_{i=1}^{\|\mathbf{z}\|} P_i(z_i)

2次元イジングモデルにおける平均場近似

イジングモデルは磁性体を記述するための単純なモデルで、各スピンが正方格子状に並んだモデルです。
イジングモデルのハミルトニアンは次のように定義されます。
H = - \displaystyle \sum_{<i,j>}J\sigma_i\sigma_j-h\sum_{i=1}^N\sigma_i

第1項は最隣接格子対 <i, j> に対する和であり、スピン間の相互作用を表します。

ここで、スピン σiが相互作用するスピンを平均値 m = <σj>で置き換えると、サイト i の局所的なハミルトニアンは
H_i = - Jzm\sigma_i-h\sigma_i

と表されます。z はスピン σiが相互作用するスピンの数を表しています。

さらに、ハミルトニアンを次のように変形し、
H = - \displaystyle J\sum_{<i,j>}\{m - (\sigma_i - m)\} \{m - (\sigma_j - m)\} -h\sum_{i=1}^N\sigma_i

(σi - m)(σj - m) の項が無視できるほど小さいと仮定すると、
H \simeq - \displaystyle J\sum_{<i,j>}\{m^2 - m(\sigma_i - m) - m(\sigma_j - m)\} -h\sum_{i=1}^N\sigma_i
\hspace{15}= \displaystyle -\frac{NJz}{2}m^2 - Jzm\sum_{i=1}^N(\sigma_i-m)-h\sum_{i=1}^N\sigma_i
\hspace{15}= \displaystyle \frac{NJz}{2}m^2 - (Jzm + h)\sum_{i=1}^N\sigma_i
\hspace{15}= \displaystyle \sum_{i=1}^NH_i + \mathrm{const.}

と近似することができます。

この近似したハミルトニアンを使うと、ボルツマン分布は次のように変形することができます。
P(\mathbf{\sigma}) = \displaystyle \frac{\exp\left(-\sum_{i=1}^NH_i+\mathrm{const.}\right)}{\sum_{\sigma_1=\pm1}\cdots\sum_{\sigma_N=\pm1}\exp\left(-\sum_{i=1}^NH_i+\mathrm{const.}\right)}
\hspace{38}=\displaystyle \frac{\exp\left(-\sum_{i=1}^NH_i\right)}{\sum_{\sigma_1=\pm1}\cdots\sum_{\sigma_N=\pm1}\exp\left(-\sum_{i=1}^NH_i\right)}
\hspace{38}=\displaystyle \frac{\prod_{i=1}^N\exp\left(-H_i\right)}{\sum_{\sigma_1=\pm1}\cdots\sum_{\sigma_N=\pm1}\prod_{i=1}^N\exp\left(-H_i\right)}
\hspace{38}=\displaystyle \frac{\prod_{i=1}^N\exp\left(-H_i\right)}{\prod_{i=1}^N\sum_{\sigma_i=\pm1}\exp\left(-H_i\right)}
\hspace{38}= \displaystyle \prod_{i=1}^NP_i(\sigma_i)\hspace{20}\textstyle\left(P_i(\sigma_i) \equiv \frac{\exp\left(-H_i\right)}{\sum_{\sigma_i=\pm1}\exp\left(-H_i\right)}\right)

確かに、各スピンに関して独立な形になっていますよね。
独立性の仮定と平均場近似が結び付かないのは、このように平均場近似による確率分布を示している文献が（私の知る限りでは）存在しないからではないでしょうか。

結論

やはり（変分推論における）独立性の仮定は平均場近似に対応するっぽいです。
学会などで「それ、平均場近似だよね？」と聞かれたら、「あれ？この場合の平均値って何だろ？」とか深く考えず、「それ、独立性を仮定するってことだよね？」と頭の中で変換した上で回答すれば良いのではないでしょうか！
単なる無名関数のことをクロージャーと呼ぶ人がいるような感じかと思います。

参考

Amazonで詳細を見る

  1. エネルギー準位の同じ状態をまとめて扱い、エネルギー準位の同じ状態数を乗じている形の方がよく見かけるかもしれません ↩