## シャノンの通信の数学的理論の話法
シャノンの問題設定と情報エントロピー
シャノンは、”通信の基本的な問題は、ある場所で選択されたメッセージを、別の場所で正確にまたは近似的に再現することである” と定義しました。
この問題設定は、通信の普遍的な側面を捉え、送信者、受信者、メッセージ、通信路といった基本要素を含んでいます。
確率と情報量の定量化
シャノンは、メッセージの「情報量」をその「起こりにくさ」と関連付けました。
起こりにくい出来事ほど多くの情報を含み、その逆もまた然りです。
彼は、情報量を定量化するために、確率論に基づいた「エントロピー」という概念を用いました。
通信路容量と符号化定理
シャノンは、「通信路容量」という概念を導入し、ノイズのある通信路でエラーなく伝送できる情報量の限界を明確化しました。
そして、重要な「符号化定理」を証明しました。
* **通信路符号化定理:** 通信路容量以下のレートで情報を伝送する符号は必ず存在し、任意に低いエラー確率を達成できる。
* **情報源符号化定理:** 情報源のエントロピー以下のレートで情報を圧縮する符号は必ず存在し、元の情報源を忠実に再現できる。
抽象的な数学モデル
シャノンの理論は、具体的な通信システムの物理的な詳細には依存せず、抽象的な数学モデルに基づいています。
情報源は確率過程としてモデル化され、メッセージは記号の列として表現されます。
通信路は、入力記号と出力記号の間の確率的な関係として定義されます。
情報理論の広範な応用
シャノンの理論は、通信システムの設計と解析のための強力なツールを提供するだけでなく、情報理論という新しい分野の基礎を築きました。
情報理論は、計算機科学、言語学、統計力学、経済学など、幅広い分野に応用されています。