INFORMATION THÉORIE DE L'

Carte mentale

Élargissez votre recherche dans Universalis

Théorie de Shannon

Lorsque le but poursuivi est de transmettre une chaîne de caractère s à un récepteur disposant de la connaissance des fréquences p(i) des lettres de l'alphabet {a1a2, ..., an}, on définira la valeur en information de s relativement à p(i) et ai, valeur appelée entropie et notée E(s, {p(i)}), par :

Dans cette conception de l'information, on suppose implicitement que le récepteur est capable de faire certains calculs pour reconstituer s à partir de ce qu'on lui transmet. En définitive, la machine M qui fait le décodage peut être prise comme référence et l'on découvre alors que la théorie de Shannon doit être vue comme une version probabiliste de la théorie algorithmique de l'information. On démontre d'ailleurs que le contenu moyen d'information de Kolmogorov des chaînes de caractères s de longueur n, pondérées par les probabilités résultant des fréquences supposées p(i) pour les ai, K(s, {p(i)}) vérifie la relation : |E(s, {p(i)}) – K(s, {p(i)})| < constante.

La théorie de l'information de Shannon est donc aussi une théorie de l'information par compression, qui, au lieu de considérer des suites quelconques, suppose que les suites qu'on transmet vérifient certaines propriétés statistiques. Finalement, la théorie de Shannon est une théorie du contenu en information relativement à un but de compression et à une certaine distribution statistique des suites. Ce n'est donc pas une théorie de l'information limitée au problème de la transmission, comme on le dit parfois.

La théorie de l'information de Shannon est compatible avec celle de Kolmogorov. Chacune a un rôle à jouer et, par exemple, dans la théorie de la mesure et de l'entropie physique de Wojciech Zurek (1989), c'est le jeu complémentaire des deux théories qui est considéré. Pour Zurek, une situation pour laquelle on dispose de peu d'éléments est assimilée à la situation typique dans l'ensemble des situations compatibles avec ce que l'on sait (utilisation de la théorie de Shannon), puis, au fur et à mesure des précisions qu'on acquiert par des mesures, la t [...]

1  2  3  4  5
pour nos abonnés,
l’article se compose de 5 pages

Écrit par :

  • : professeur émérite de biophysique aux universités de Paris-VI-Pierre-et-Marie-Curie et de Jérusalem, directeur d'études à l'École des hautes études en sciences sociales, Paris, directeur du Centre de recherches en biologie humaine, hôpital Hadassah, Jérusalem (Israël)
  • : professeur à l'université des sciences et technologies de Lille
  • : physicien au Commissariat à l'énergie atomique

Classification

Voir aussi

Les derniers événements

France. Annonce de la candidature de François Mitterrand à l'élection présidentielle. 22-31 mars 1988

intolérants », des « partis qui veulent tout », des « clans », des « bandes », des « factions » menacent « la paix civile ». Jacques Chirac s'étonne, le soir même, à Caen, de l'« agressivité du candidat socialiste » et souligne qu'il « ne s'est certainement pas présenté comme un rassembleur ». Le 23 […] Lire la suite

Pour citer l’article

Henri ATLAN, Jean-Paul DELAHAYE, Étienne KLEIN, « INFORMATION THÉORIE DE L' », Encyclopædia Universalis [en ligne], consulté le 19 février 2021. URL : https://www.universalis.fr/encyclopedie/theorie-de-l-information/