- 生起確率・・・事象が発生する確率
- 情報量・・・事象が持っている情報の量
生起確率（発生確率）がP(a)の事象aが起こったとき，これを知ることにより得られる情報量をI(a)とする。
P(a)が小→I(a)が大（驚き大きい）
P(a)が大→I(a)が小（驚き小さい）
情報量I(a)を次のように定義する。
I(a) = log21/P(a) = -log2P(a) （単位：ビット)
この定義に従うと，次のことが言える。
1 ビット = 確率1/2で起こる事を伝える情報量
n ビット = 確率1/2nで起こることを伝える情報量
例1）出現確率が等しいコインの情報量
a：表が出るという事象 I(a)=-log2P(a)=-log21/2=log22=1（ビット)
例2）出現確率が等しいさいころの目の情報量
a：1の目が出るという事象 I(a)=-log2P(a)=-log21/6=log26≒2.58（ビット)
例3）試験の合格可能性が1/8である生徒の合格、不合格を伝える情報量
a：合格するという事象 I(a)=-log2P(a)=-log21/8=log28=3（ビット)
b：不合格という事象 I(b)=-log2P(b)=-log27/8≒0.193（ビット)
⇒合格を伝える情報量は不合格を伝える情報量より大きい
【情報理論】