シャノンの通信の数学的理論のテクスト
シャノンの通信の数学的理論の概要
クロード・シャノンが1948年に発表した論文「通信の数学的理論」は、現代の情報理論の基礎を築いた画期的な論文です。この論文は、ノイズが存在する状況下で情報を効率的に送信する方法について、数学的な枠組みを提供しています。
論文の主要な概念
シャノンの論文は、情報源、送信機、通信路、受信機、宛先という通信システムの基本的な構成要素を定義しています。
* **情報源:** メッセージを生成する場所。
* **送信機:** メッセージを通信路を通して送信可能な信号に変換する。
* **通信路:** 信号が送信機から受信機に伝わる物理的な経路。
* **受信機:** 受信した信号をメッセージに変換する。
* **宛先:** メッセージが届けられる場所。
情報エントロピー
シャノンは、メッセージが伝える情報の量を定量化するために「エントロピー」という概念を導入しました。エントロピーは、メッセージの不確実性を表す尺度であり、メッセージが予測不可能であればあるほど、エントロピーは高くなります。
通信路容量
通信路容量は、通信路を通してエラーなしで送信できる情報の最大レートを表します。シャノンは、通信路容量が通信路の帯域幅、信号電力、ノイズ電力によって決まることを示しました。
符号化定理
シャノンの符号化定理は、通信路容量以下のレートで情報を送信する場合、エラーを任意に小さくできる符号が存在することを示しています。