シャノンの通信の数学的理論の発想
通信における基本問題
シャノンは、論文「通信の数学的理論」の中で、
> 通信の基本的な問題は、ある場所で選択されたメッセージを、
> 正確にまたは近似的に別の場所で再現することである。
と述べています。これは、電話、ラジオ、テレビなど、
当時のあらゆる通信手段に共通する本質的な問題を、
非常に抽象度の高いレベルで明確に定義したものです。
情報源のモデル化
シャノンは、通信の数学的な理論を構築するために、
まず情報源をモデル化しました。彼は、情報源を、
特定の確率分布に従って記号を生成する確率過程と捉えました。
これは、従来の通信理論では考慮されていなかった、
画期的な視点でした。
情報エントロピーの導入
情報源を確率過程として捉えることで、
シャノンは情報量を定量化することができました。
彼は、情報源が生成するメッセージの不確実さを表す尺度として、
「情報エントロピー」という概念を導入しました。
情報エントロピーは、メッセージが予測しにくいほど大きく、
予測しやすいほど小さくなります。
通信路のモデル化
シャノンは、通信路を、
入力信号を受け取り、
それにノイズを加えて出力信号を生成するシステムとしてモデル化しました。
このモデルは、実際の通信路で発生するノイズの影響を、
数学的に扱うことを可能にしました。
通信路容量の定義
シャノンは、通信路の性能を評価する尺度として、
「通信路容量」という概念を導入しました。
通信路容量は、その通信路でノイズの影響を受けずに、
伝送できる最大の情報量を表します。
符号化定理
シャノンは、通信路容量と情報エントロピーの関係を示す、
「符号化定理」を証明しました。
符号化定理は、情報源のエントロピーが通信路容量よりも小さい場合、
ノイズの影響を受けずに情報を伝送できる符号が存在することを保証します。
これらの概念を導入することで、シャノンは通信を、
数学的に厳密に扱うことを可能にする、
新しい理論的枠組みを構築しました。