シャノンの通信の数学的理論の表現

## シャノンの通信の数学的理論の表現

###

シャノンの理論では、情報源は確率過程としてモデル化されます。情報源は、記号やメッセージなどの離散的な値を出力するシステムと見なされます。各記号は、情報源の確率分布に従って特定の確率で生成されます。

###

情報エントロピーは、情報源の不確実性を定量化する尺度です。情報源が生成する次の記号が予測しにくいほど、エントロピーは大きくなります。逆に、次の記号が予測しやすいほど、エントロピーは小さくなります。情報エントロピーは、通常、ビット単位で測定されます。

###

通信路は、送信側から受信側に情報を伝送する媒体としてモデル化されます。シャノンは、通信路を、入力記号を対応する出力記号に確率的にマッピングする数学的モデルとして表現しました。通信路は、ノイズや干渉などの要因によって、送信された情報を歪ませることがあります。

###

チャネル容量は、通信路が単位時間あたりに伝送できる情報の最大量を示す尺度です。チャネル容量は、通信路のノイズ特性と帯域幅に依存します。シャノンは、チャネル容量を計算するための公式を導出し、信頼性の高い通信を実現するための理論的な限界を示しました。

###

符号化は、情報を効率的かつ信頼性の高い方法で伝送するために、メッセージを別の形式に変換するプロセスです。シャノンの理論では、符号化は、情報源の冗長性を削減し、ノイズの影響を最小限に抑えるための方法を提供します。