PRML ファン必見！エントロピー最大化原理がよくわかる「PRMLガール」

先日開催された DSIRNLP 04 で「PRMLガール ～ 文芸部のマネージャーが『パターン認識と機械学習』を読んだら」をいただきました。関係者の皆さまありがとうございます！

どんな内容か？

“文芸部のマネージャー” でツインテールの主人公ランが、通りすがりのカズに教えられる形でエントロピー最大化原理について解説しています。
正に「文芸部のマネージャーでもわかるエントロピー最大化原理」！！

実は本編の内容はここで読めちゃいます。

PRMLガール ～ 文芸部のマネージャーが「パターン認識と機械学習」を読んだら ～ - Mi manca qualche giovedi`?

本書で言及されている『最大のエントロピーを持つ確率分布は～』というのは、皆さん大好き「パターン認識と機械学習 上」の p. 51 の内容です。
エントロピーの説明でさらっと『最大のエントロピーを持つ確率分布は～』と出てくるが、どうしてわざわざエントロピー最大の話を持ち出したのか？きっと重要な内容なんだろうけど嬉しさがよくわからない。というのがランの疑問点です。

PRML を1ページ読むのに10分かかるタイプの子ですね！

それに対してカズは情報量の説明から始まり、最終的にエントロピーを最大化すると嬉しいよねって話で終わります。

ちなみに「確率的言語モデル」では、最大エントロピーモデルについて

言語モデルのエントロピーを最大化することにより，未知データに対し確率値をなるべく一様に配分するようにする．
（中略）
特に制約がない場合には，各事象が一様な確率（等確率）で起こると仮定することが，直観的に一番妥当であると考えられる．
（中略）
これらの制約等式のもとで最も一様な確率を与えるものを求めればよい．

とあります。この説明で納得できるのであれば本書を読む必要はないでしょう。
「なんか妥当な気はするけど、できるだけ一様な確率を与える方針で本当に良いんだろうか？」
と思ったら本書を読むと良いかもです。

あとがきでは、2人の名前の由来と、f(mn) = f(m) + f(n) を満たす関数が対数関数しかないことを言うために f(x) の連続性を仮定しないといけないことについて説明されています。
自分の場合、選択公理自体を理解できてないんでなんとなくわかるようなわからないような・・・な感じです。

読み物としては個人的にランのリアクションが好きですね。

どうすれば手に入るか？

amazon ではもう取り扱われていませんが、まだ書店にはちらほらありそうな気配です。
Twitter / 検索 - prml ガール

あと、Twitter とかで「欲しい！」ってツイートしまくれば @takesako さんあたりが捕捉して増刷になるのかなぁと妄想してます。

最後に

個人的に続編として相互情報量について説明があると嬉しいです。
あと、ランちゃんみたいな彼女が欲しいです。