エントロピーの考え方−情報工学−

2005/8/2
熱力学で生まれたエントロピーという考え方を、情報工学にもってきたヒトがいる。いつ、誰だったかは忘れた。

まず、情報を数量化することを考える。ここでいう情報とは、事象（イベント）のことである。
まぁ情報ってもんは伝えないとしょうがないわけで、っていうか伝えるために存在するわけであって、めずらしい情報ほど伝える価値が大きいというのはなんとなくわかるだろう。
その珍しさの度合いを情報工学的に表すのが「自己情報量」と言われ、x = 事象、i = 自己情報量、 P = その事象が起こる確率とすると、
i(x) = log2P(x)
となる。いきなりむつかしくて閉口するかもしれない。でもわかりやすく説明するから、できれば読んでほしい。
情報量は、その事象が起こる確率のlog関数であるという意味だが、まずlogってなんじゃらほいと。
っとその前に「関数」ってなんじゃらほい、ってもの説明しておこう。「そんなの知ってるやい」ってヒトは次のパラグラフまで読み飛ばしても結構。

関数ってのは、決まった仕事をするハコのことだ。たとえば両替機みたいな。
入り口に500円玉入れると、出口から100円玉が5枚でてくる。いつ500円玉を入れても、いつも同じように100円玉を5枚出す。「100円玉切れランプがつくこともあるだろ」とかそんなヒネたことはこの際言わないでくれ。同じ入力に対して、いつでも同じ出力をする、ってのがまず大事な性質。
1000円（500*2）入れると100円が10枚（5*2）でてくる。入力を変えるとそれに応じて出力も変わるってこと。入力が変わっても同じ仕事をし、出力も変化する。（変わらないこともある。）これが性質その2。
性質はそれだけ。数学的には、入力をx 、出力をy として、y=f(x)と表す。fってのは関数の名前、役割のこと。
入力は2つ以上になることもある。身近な例で言うと、[いちごジャム] = [ジャム製造器](いちご,砂糖)　こんなかんじ。
この場合、いちごもさとうも増やせば、できるジャムの量は増えるだろうし、いちごだけを増やせば甘くないジャムになり、砂糖ばかりを増やせば甘ったるいジャムができる。このように、どっちの入力の変化も出力に影響を与える。
…それている話がそれたが関数ってなんとなくわかっただろうか？

log関数についてはここに別に書いたので、わからない人は読んでください。

これで自己情報量のハナシに戻れる。

けどこんかいはここまで！ごめん！

「雑文」に戻る

フレームが表示されていない場合はここから再入室お願いします。