## シャノンの通信の数学的理論の世界
### 情報の定義
シャノンの理論の中核を成すのは「情報」の概念です。 彼は情報を、メッセージが伝える不確実性の解消度合いとして定量化しました。 メッセージがより多くの不確実性を解消する、つまり受信者にとってより「驚くべき」ものであるほど、より多くの情報を持っているとされます。
### エントロピー：不確実性の尺度
シャノンは、情報源の生成するメッセージの不確実性を測定するために、「エントロピー」という概念を導入しました。 エントロピーは、情報源から次にどのメッセージが生成されるかについての予測の難しさを表す尺度です。 エントロピーが高いほど、予測は難しく、情報源はより多くの情報を持っていると言えます。
### 通信路と符号化
シャノンは、情報源から受信者へ情報を伝達する経路を「通信路」と定義しました。 通信路は、ノイズや干渉の影響を受ける可能性があり、それによってメッセージが正しく伝送されない可能性があります。 この問題に対処するために、シャノンは「符号化」の概念を導入しました。 符号化は、メッセージを冗長な形に変換することで、ノイズの影響を受けにくくする処理です。
### 通信路容量とシャノンの定理
シャノンは、「通信路容量」という概念を導入しました。 これは、特定の通信路を通じて、ノイズの影響を受けずに伝送できる最大情報量を表します。 そして、シャノンの定理として知られる重要な定理を証明しました。 この定理は、情報源のエントロピーが通信路容量以下であれば、ノイズの影響を無視できるほど小さくできる符号化が存在することを保証します。
### シャノンの理論の影響
シャノンの通信の数学的理論は、情報理論という新しい学問分野の基礎を築き、情報通信技術の発展に多大な貢献をしました。 彼の理論は、データ圧縮、誤り訂正符号、暗号技術など、現代のデジタル通信技術の基盤となっています。