情報エントロピー
読み：じょうほうエントロピー
外語：Information entropy
ある情報が伝える情報の本質量。
例えば、ある企業Mは誰もが悪徳企業であると考えていると仮定したとして、"実はM社は悪徳企業では無かった" という情報が伝え得る衝撃は大きいが、"M社の社長BG氏は善人では無かった" という情報が伝え得る衝撃は小さいとすると、そのそれぞれの衝撃の大きさが情報エントロピーである。つまり、予測がしにくい状態ほど、大きな量が得られる。
情報工学的には、ある情報の生起確率を、公式 "-log2 生起確率" にあてはめて、求められる量をエントロピー量とする。
この理論から、生起確率が50%の時のエントロピー量を1ビットとする事によって、エントロピー量の単位をビット単位で測れるようにしている。
再検索