情報理論ってなんぞや

少し調べる必要が出たので、メモ

情報理論とは、簡単に言えば、人間の解釈を排除し、確率から見た情報の学問です。

例えば、100本のくじ引きのうち、あたりが1本あります

まず、A君がひく場合は1/100です(事前確率)

もし、A君が引いた後確認せず、B君が引いて結果を確認した場合(事後確率)

B君が、あたりかハズレかによってA君があたりの確率が変動します(不確定さが減少します)

この場合、

B君があたりかハズレかというものが情報にあたり(A君の不確定さを減らすため)

情報量というのはA君の確率の変化度合いを指します

B君があたりの場合、A君があたりの可能性は0(確定事項)になるため、情報量が大きいと言えます

B君がハズレの場合、Aくんの確率は1/100から1/99になるため、情報量が小さいと言えます

故に計算式が

また、情報量とはそれぞれが独立している場合加法性を持ちます。

トランプのカードを引いた場合

スペードのAであることを知る情報量 = スペードである情報量 + Aである情報量となります

平均情報量(エントロピー)とは

事象の発生確率と情報量をかけたものを足していったものになります。

先ほどのくじの例で言えば、

B君の平均情報量は

log2(99/100) * 99/100 + log2(1/100) * 1/100

となります。

(平均情報量とエントロピーは意味合い的に違うように感じるかもしれませんが、計算式が一緒のため、同じようになるらしいです)

情報源というのは、今回で言えばくじでのA君のあたり確率にあたります

マルコフ情報源とは、事前のn回のものよって発生確率が依存するものを指します

(先ほどのくじなど。n = 1なら単純マルコフ情報源)

エルゴード情報源とは事象を何度も繰り返した際に確率が収束するものを指します

ブログを書き始めた理由は、

情報を残しておくベースにプログラム関係の事柄ならQiitaがあるけれど、あれはプログラマーに関することでないとダメだし。

なので、おそらくこちらは雑他に気ままに書くし、出来れば毎日、知らない単語は軽くでもまとめておきたい。

で、なぜ今回、情報理論かというと、応用情報の勉強にとある本を使用して始めようと思ったんだけど、

Amazonのリンクに書いてある通り、知識の羅列で、そもそもある程度知ってるでしょ?みたいな感じなため。

情報理論が何なのか読んでもさっぱりわからない。

参考