圧縮できるのは、冗長度があるから。情報の量の測り方を図にした

• 情報の量は意味では測らない。起こりやすさだけで決まる
• 分かりきっているなら0、全部が同じ確からしさなら最大
• 圧縮できるのは、冗長度があるから

圧縮の話を調べていくと、必ず同じ論文に行き着く。1948年のものだが、いま使っている道具の前提がここで決まっている。

最初に「意味は扱わない」と置いている

論文の冒頭で、範囲がはっきり限定されている。

しばしばメッセージには意味がある。（中略）こうした意味の側面は、工学上の問題とは無関係である。

扱うのはある地点で選ばれたメッセージを、別の地点で再現することだけになる。内容が重要かどうかは測らない。

この割り切りが効いている。意味を扱わないと決めたから、文章も画像も音も同じ尺度で測れる。

測っているのは「ばらつき」

定義はこうなる。

H = − Σ pi log pi を、確率の集合のエントロピーと呼ぶ。

入るのはそれぞれの起こりやすさだけになる。何が起こるかの中身は入らない。

両端を見ると分かりやすい

論文は性質を列挙していて、最初の2つが両端になっている。

つまり「分かりきっていることには情報が無い」という感覚が、そのまま数式になっている。

冗長度という言葉

圧縮に直結するのが、この定義になる。

情報源のエントロピーと、同じ記号を使う条件での最大値との比を相対エントロピーと呼ぶ。これは同じ文字で符号化し直すときに可能な最大の圧縮になる。1から相対エントロピーを引いたものが冗長度である。

言い換えると、冗長度は「構造によって決まってしまっている割合」になる。自由に選ばれていない部分だ。

英語はおよそ50%

論文には測定値が書かれている。

およそ8文字より離れた統計的構造を考えない範囲で、通常の英語の冗長度はおよそ50%である。これは、英語を書くとき書いている内容の半分は言語の構造によって決まっており、半分は自由に選ばれていることを意味する。

この50%は複数の独立した方法で求められ、どれも近い値になったとされている。

確かめ方が面白い

挙げられている方法の一つが、実験として分かりやすい。

英文の標本から一定割合の文字を削り、それを誰かに復元させる。50%削って復元できるなら、冗長度は50%より大きいことになる。

計算ではなく人にやらせて確かめている。読める以上、その分は元から決まっていた、という理屈になる。

いま使っている道具に効いている

この考え方が分かると、日常の疑問がいくつか片付く。

• 文章がよく縮むのは、冗長度が高いから
• 圧縮済みの画像や動画がそれ以上縮まないのは、取り除く余地が残っていないから
• 二重に圧縮しても意味が無いのも、同じ理由
• ばらばらのデータほど縮まないのは、ばらつきが大きいから

画像形式ごとの差を書いたPNGの仕組みやJPEGの仕組みも、結局はどこに冗長度を見つけるかの違いになる。

言語モデルとのつながり

「次の文字がどれだけ予測できるか」を測るのが、ここでのエントロピーになる。予測できるほど、情報は少ない。

これは言語モデルが文章を作る仕組みそのものと同じ向きを見ている。構造によって決まっている部分が半分あるからこそ、続きを当てられる。

まとめ

• 情報理論は最初に意味を扱わないと宣言している
• 測るのは起こりやすさのばらつきだけ
• 確信しているときだけ0、全部が同じ確からしさなら最大
• 冗長度 = 1 − 相対エントロピー。構造で決まってしまう割合
• 英語の冗長度はおよそ50%。半分は言語の構造が決めている
• 圧縮できるのは、冗長度があるから

出典

• C. E. Shannon「A Mathematical Theory of Communication」（The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, 1948年7月・10月／訂正を加えた再録版PDF）（意味を扱わないという前提、エントロピーの定義、Hの性質1と2、相対エントロピーと冗長度の定義、英語の冗長度およそ50%とその確かめ方。2026年10月13日に確認）

図は本記事のために作成したもの。引用は訳出したもので、原文は英語。