Canal de communication (théorie de l'information)

Pour les articles homonymes, voir Canal.

En théorie de l'information, un canal de communication ou canal de transmission est un support (physique ou non) permettant la transmission d'une certaine quantité d'information, depuis une source (ou émetteur) vers un destinataire (ou récepteur). Souvent, le canal altère l'information transmise, par exemple en ajoutant un bruit aléatoire.

La quantité d'information qu'un canal de communication peut transporter est limitée : on parle de capacité du canal.

On peut décomposer simplement un système de communication en trois grandes parties^{[S 1]} : une source d'information (associée à un transmetteur), un destinataire (associé à un récepteur), et le canal de communication, qui assure la liaison entre les deux. Selon les modèles de canaux, l'information transmise peut être discrète ou continue.

Souvent, le canal est équipé d'un modèle probabiliste qui décrit le signal sortant en fonction du signal entrant. Cela correspond à des situations réelles comme la transmission d'un signal logique sur un fil ou d'un message sur l'Internet, car les canaux réels ne sont pas entièrement fiables et les erreurs ne se produisent pas de façon systématique.

L'objectif du destinataire est donc de reconstituer le message original à partir de l'information transmise par le canal, ce qui donne lieu à l'usage de codes et plus spécifiquement de codes correcteurs d'erreurs.

Le télégraphe est un exemple de système dans lequel le canal de communication est dit discret : on transmet une suite de symboles élémentaires (code Morse). Les signaux logiques comme le binaire sont également discrets.

Le débit d'information ${\displaystyle D}$ est défini en fonction du nombre de signaux ${\displaystyle N(T)}$ pouvant circuler pendant une durée ${\displaystyle T}$.

La capacité d'un canal de communication constitue une limitation de la quantité d'information que la source peut transmettre vers le récepteur. Elle est définie comme le maximum du débit.

On considère un canal ${\displaystyle W}$ dont l'alphabet d'entrée est ${\displaystyle S}$ et l'alphabet de sortie est ${\displaystyle S'}$. Cela signifie que les symboles du message émis sont des lettres de ${\displaystyle S}$ et que ceux du message reçu sont des lettres de ${\displaystyle S'}$. Le canal est défini par une loi de probabilité décrivant la probabilité de la sortie en fonction de l'entrée.

Supposons que l'on envoie un symbole ${\displaystyle s\in S}$ dans le canal ; la probabilité que le symbole sortant soit ${\displaystyle s'\in S'}$ est notée ${\displaystyle W(s'|s)}$. Si les deux alphabets sont identiques, la probabilité que le symbole soit transmis de façon fidèle est ${\displaystyle W(s|s)}$.

Dans le cas général, on modélise le symbole transmis par une variable aléatoire ${\displaystyle X}$ de loi ${\displaystyle P(X=s_{i})=p_{i}}$ (avec ${\textstyle \sum _{S}p_{i}=1}$). Différents choix existent pour cette loi, notamment :

• La loi uniforme : ${\displaystyle p_{i}={\frac {1}{|S|}}}$
• Lorsque le message transmis est un mot ${\displaystyle w\in S^{*}}$, une définition naturelle est ${\displaystyle p_{i}={\frac {|w|_{s_{i}}}{|w|}}}$ : la proportion d'apparition de la lettre ${\displaystyle s_{i}}$ dans ${\displaystyle w}$.

Dans cette situation, le symbole en sortie du canal est aussi une variable aléatoire, ${\displaystyle Y}$, dont la loi dépend de celle de ${\displaystyle X}$ :

${\displaystyle P(Y=s')=\sum _{s\in S}P(X=s)\times W(s'|s)}$

On retrouve alors la capacité du canal en observant l'information mutuelle ${\displaystyle I(X;Y)}$ entre l'entrée et la sortie. L'information mutuelle représente informellement la quantité d'information de ${\displaystyle X}$ qui a été préservée par le passage dans le canal. La capacité du canal de communication est alors définie par :

${\displaystyle C=\sup _{p_{X}}I(X;Y)}$

La borne supérieure porte sur la distribution de probabilité de ${\displaystyle X}$. Pour exploiter toute la capacité du canal, il faut donc choisir judicieusement les symboles que l'on y envoie, car tous ne sont pas traités également.

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

• Canal binaire symétrique

Lorsque ${\displaystyle W}$ est un canal d'entrée ${\displaystyle S}$ et de sortie ${\displaystyle S'}$, on définit pour tout ${\displaystyle n\geq 1}$ le canal ${\displaystyle W^{\times n}}$ qui représente ${\displaystyle n}$ copies indépendantes et parallèles de ${\displaystyle W}$. Il prend son entrée dans ${\displaystyle S^{n}}$ et produit une sortie dans ${\displaystyle S'^{n}}$ selon la distribution de probabilité :

${\displaystyle W^{\times n}(y_{1}\dots y_{n}|x_{1}\dots x_{n})=W(y_{1}|x_{1})\times \dots \times W(y_{n}|x_{n})}$

Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?

Lorsqu'on veut transmettre par un canal un message ${\displaystyle m\in \{1\dots M\}}$ parmi ${\displaystyle M}$ messages possibles, on choisit un code représenté par deux fonctions :

• Un encodeur ${\displaystyle E:\{1\dots M\}\to S}$
• Un décodeur ${\displaystyle D:S'\to \{1\dots M\}}$

Le message est transmis par le canal puis réinterprété à l'aide du décodeur pour donner une estimation ${\displaystyle {\hat {m}}}$ du message original. Plusieurs mesures peuvent être utilisées pour interpréter la performance du canal, notamment :

• La probabilité d'erreur ${\displaystyle P_{err}=\mathbb {P} ({\hat {m}}\neq m)}$. Dans le cas d'un canal discret (et en supposant que ${\displaystyle m}$ est tiré uniformément), cette probabilité s'exprime par :

  ${\displaystyle P_{err}=1-{\frac {1}{M}}\sum _{m=1}^{M}\sum _{s'\in S}W(s'|E(m))\mathbf {1} _{\{D(s')=m\}}}$

• La probabilité d'erreur maximale, qui représente le pire cas pour la transmission :

  ${\displaystyle P_{err,max}=\max _{m_{0}\in \{1\dots M\}}\mathbb {P} ({\hat {m}}\neq m_{0}|m=m_{0})}$

Il y a un compromis naturel entre le nombre ${\displaystyle M}$ de messages différents transmis et la probabilité d'erreur de transmission ${\displaystyle P_{err}}$. On s'intéresse souvent au meilleur ${\displaystyle M}$que l'on peut obtenir pour une certaine valeur maximale de ${\displaystyle P_{err}>0}$, noté ${\displaystyle M_{opt}(W,P_{err})}$.

La valeur particulière ${\displaystyle M_{opt}(W,0)}$ est appelée capacité à zéro-erreur de ${\displaystyle W}$et est définie en faisant tendre ${\displaystyle P_{err}>0}$ vers la limite :

${\displaystyle C_{0}(W)=M_{opt}(W,0)=\lim _{\epsilon \to 0}\left(\lim _{n\to \infty }{\frac {1}{n}}\log M_{opt}(W^{\times n},\epsilon )\right)}$

• C. E. Shannon, A mathematical theory of communication (œuvre écrite), Inconnu, Short Hills (d), Juillet 1948, [lire en ligne].

• Entropie de Shannon
• Channel state information
• Capacité du canal
• Atténuation du signal

• Portail des télécommunications
• Portail des mathématiques
• Portail de l'informatique théorique