## シャノンの通信の数学的理論の思索
### 情報の定義
クロード・シャノンは、1948年に発表した論文「通信の数学的理論」の中で、情報理論の基礎を築きました。この論文の最も重要な貢献の一つは、情報の量を確率に基づいて定義したことです。
### 情報エントロピー
シャノンは、ある事象の発生確率が低いほど、その事象が起きたときに得られる情報量は大きいと考えました。 そして、この情報量を定量化するために、情報エントロピーという概念を導入しました。
情報エントロピーは、メッセージがもたらす情報の不確かさを表す尺度であり、メッセージの発生確率分布によって決定されます。 発生確率が低い事象ほど、情報エントロピーは大きくなります。
### 通信路符号化定理
シャノンは、通信路符号化定理を証明しました。この定理は、ノイズが存在する通信路であっても、通信路容量と呼ばれる限界値以下のレートで情報を符号化すれば、誤り確率を限りなくゼロに近づけられることを示しています。
通信路容量は、通信路のノイズ特性によって決まります。ノイズが大きければ通信路容量は小さくなり、ノイズが小さければ通信路容量は大きくなります。
### 通信の数学的モデル
シャノンは、通信システムを、情報源、送信機、通信路、受信機、宛先の５つの要素からなるモデルで表現しました。
* 情報源：送信したい情報
* 送信機：情報を符号化し、通信路に適した信号に変換する
* 通信路：信号を伝送する経路
* 受信機：受信した信号を復号し、元の情報に戻す
* 宛先：情報を受け取る対象
このモデルは、今日の通信システムにおいても広く用いられています。
### シャノンの理論の影響
シャノンの情報理論は、現代の通信技術の基礎となっています。 データ圧縮、誤り訂正符号、暗号技術など、現代の通信技術の多くは、シャノンの理論に基づいて開発されてきました。
シャノンの理論は、通信技術以外にも、計算機科学、統計力学、言語学など、様々な分野に大きな影響を与えています。