Théorie de l'information et codage
Quel est le principe de codage ?
En résumé, le codage consiste à donner des instructions à un ordinateur.
Les codeurs communiquent ces instructions au moyen de langages de programmation.
Qui a inventé la théorie de l'information ?
Il existe une première théorie de l'information, due à Claude Shannon et Warren Weaver dès 1949, présentée en français par Léon Brillouin en 1959.
C'est une théorie mathématique qui formalise l'information et sa transmission de manière probabiliste.
C'est quoi la théorie de l'information et de la communication ?
La théorie de l'information propose une formalisation des processus de transmission à l'aide de modèles techniques, de concepts susceptibles de s'appliquer à la communication humaine.
- Les théorèmes de Shannon énoncent qu'il est impossible de trouver un code dont la longueur moyenne soit inférieure à 0,72N, mais qu'il est possible de coder le message de façon que le message codé ait en moyenne une longueur aussi proche que l'on veut de 0,72N lorsque N augmente.
C'est une théorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique précise. Elle fournit une mesure quantitative de la notion d'information apportée par un message (ou une observation).