INFORMATION THÉORIE DE L'

Quand on parle d'information, on pense souvent « information ayant une certaine valeur », ou « information pouvant servir à... ». Existe-t-il une théorie générale de l'information ? La théorie de l'information de Shannon (1949) a souvent été présentée comme cette théorie attendue. On admet aujourd'hui que les résultats qui en ont été tirés en biologie ou en informatique ne sont pas à la mesure des ambitions annoncées. Une seconde théorie de l'information, dite théorie algorithmique de l'information et due indépendamment à Andreï Kolmogorov et Gregory Chaitin (1965), se fonde sur la théorie du calcul d'Alan Turing (1936). Nous allons voir que ces deux théories sont liées l'une à l'autre.

Les exemples suivants de suites de caractères contenant de l'information doivent faire réfléchir : (a) la suite des caractères du texte du roman Les Misérables de Victor Hugo ; (b) la liste des emplacements des lance-missiles américains ; (c) une table de logarithmes ; (d) le génome complet d'un virus ; (e) un disque compact avec les concertos pour piano de Chopin ; (f) le programme du traitement de texte utilisé par l'auteur pour écrire cet article, tel qu'il est dans la mémoire de son ordinateur ; (g) le programme de ce même traitement de texte avant qu'il n'ait été compilé, qu'on appelle « programme source ».

Dans chaque cas, il s'agit d'objets possédant un contenu en information et ayant une certaine valeur : ils ont pu être vendus et achetés, on a dépensé de l'argent pour les produire, on continue d'en dépenser pour les conserver. Le contenu brut d'information pour chacun de ces objets est donné par le nombre de bits (éléments de mémoire binaire, 0 ou 1) nécessaires pour enregistrer la chaîne de caractères dans la mémoire d'un ordinateur quand on ne lui fait subir aucun traitement particulier. Le contenu brut d'information d'une chaîne de caractères s de longueur n est n si s ne comporte que des 0 et des 1 et c'est n log m /log 2 si la chaîne comporte des caractères pris parmi m. Dans [...]


pour nos abonnés,
l’article se compose de 5 pages

Carte mentale

Élargissez votre recherche dans Universalis

Écrit par :

  • : professeur à l'université des sciences et technologies de Lille
  • : physicien au Commissariat à l'énergie atomique
  • : professeur émérite de biophysique aux universités de Paris-VI-Pierre-et-Marie-Curie et de Jérusalem, directeur d'études à l'École des hautes études en sciences sociales, Paris, directeur du Centre de recherches en biologie humaine, hôpital Hadassah, Jérusalem

Classification


Autres références

«  INFORMATION THÉORIE DE L'  » est également traité dans :

FORME

  • Écrit par 
  • Jean PETITOT
  •  • 27 547 mots

Dans le chapitre « Phénoménologie, gestalt-théorie et écologisme »  : […] Fodor et Z. Pylyshyn ont expliqué pourquoi la théorie de Gibson n'était pas acceptable. Gibson cherche à substituer aux actes mentaux et aux processus computationnels perceptifs (en particulier aux inférences effectuées à partir de représentations mentales) une extraction perceptive directe d'informations « écologiques ». Mais il n'arrive pas à […] Lire la suite☛ http://www.universalis.fr/encyclopedie/forme/#i_8942

INFORMATION GÉNÉTIQUE

  • Écrit par 
  • Henri ATLAN
  •  • 6 223 mots
  •  • 1 média

Dans le chapitre « Codage génétique et biosynthèse des protéines »  : […] cette traduction sont ceux d'une voie de communication dans la théorie de l'information de Shannon, voie caractérisée par un message d'entrée (la séquence nucléotidique de l'ADN) et un message de sortie (la séquence d'acides aminés de la protéine). Messages d'entrée et messages de sortie sont porteurs d'une certaine information que la voie de […] Lire la suite☛ http://www.universalis.fr/encyclopedie/information-genetique/#i_8942

VIE

  • Écrit par 
  • Georges CANGUILHEM
  •  • 10 962 mots

Dans le chapitre « La vie comme information »  : […] Si l'on entend par cybernétique une théorie générale des opérations contrôlées, exécutées par des machines montées de façon telle que leurs effets ou leurs produits soient conformes à des normes fixées ou ajustés à des situations instables, on conviendra qu'il était normal que les régulations organiques, et avant tout celles qu'assure le système […] Lire la suite☛ http://www.universalis.fr/encyclopedie/vie/#i_8942

JEUX THÉORIE DES

  • Écrit par 
  • Bernard GUERRIEN
  •  • 8 066 mots

Dans le chapitre « Les hypothèses sur l'information  »  : […] La plupart des modèles de théorie des jeux supposent qu'il y a information complète : chacun connaît ses stratégies et celles des autres, leurs caractéristiques et leurs motivations, ainsi que les diverses issues possibles du jeu (avec les gains correspondants). En résumé, chacun sait tout sur tout, y compris que les autres […] Lire la suite☛ http://www.universalis.fr/encyclopedie/theorie-des-jeux/#i_8942

TEMPS

  • Écrit par 
  • Hervé BARREAU, 
  • Olivier COSTA DE BEAUREGARD
  •  • 14 773 mots

Dans le chapitre « Information et entropie »  : […] Notre ultime discussion sur l'irréversibilité sera plus philosophique et portera sur la relation entre information et entropie (cf. entropie, chap. 3). La définition technique d'une information est la même que celle d'une entropie changée de signe (ou néguentropie : « moins » le logarithme d'une […] Lire la suite☛ http://www.universalis.fr/encyclopedie/temps/#i_8942

COGNITIVES SCIENCES

  • Écrit par 
  • Daniel ANDLER
  •  • 19 241 mots
  •  • 4 médias

Dans le chapitre « Phase I (1950-1970) : l'émergence »  : […] L'année décisive est 1956. Au M.I.T., se tient, du 10 au 12 septembre, un « Symposium on Information Theory » qui marque symboliquement, aux yeux de plusieurs des principaux acteurs, le début d'un nouveau mouvement, intégrant dans une perspective commune la psychologie expérimentale, la linguistique théorique et la […] Lire la suite☛ http://www.universalis.fr/encyclopedie/sciences-cognitives/#i_8942

COMMUNICATION - Les processus de la communication

  • Écrit par 
  • Robert PAGÈS
  •  • 6 240 mots

qui déchiffre ou décode le message dans l'état où il le reçoit (après pertes et brouillages éventuels dus au bruit) et en tire ainsi sa propre version ou signification (version du destinataire). On reconnaîtra ici le schéma élémentaire usité dans la théorie de l'information […] Lire la suite☛ http://www.universalis.fr/encyclopedie/communication-les-processus-de-la-communication/#i_8942

TRANSFERT, psychanalyse

  • Écrit par 
  • Pierre KAUFMANN
  •  • 3 158 mots

Dans le chapitre « Transfert d'apprentissage et transfert psychanalytique »  : […] n'émane pas seulement de la « récompense » apportée par une bonne réponse, mais aussi des erreurs. Dans ces conditions, l'information ne peut être consolidée que dans la mesure où sont contrariés les effets des facteurs de détérioration de l'information ; et au premier chef pourra être ici précisé le rôle de la stratégie assumée par le sujet […] Lire la suite☛ http://www.universalis.fr/encyclopedie/transfert-psychanalyse/#i_8942

COMMUNICATION

  • Écrit par 
  • Yves WINKIN
  •  • 4 805 mots

Dans le chapitre « Une théorie mathématique de la communication »  : […] Institute of Technology (M.I.T.) autour de Claude Shannon, un spécialiste des théories mathématiques de l'information, pour repenser la transmission télégraphique. Le télégraphe est en effet fondamental en temps de guerre. Le problème, c'est que le message envoyé n'est jamais entièrement restitué ; il y a toujours une perte […] Lire la suite☛ http://www.universalis.fr/encyclopedie/communication/#i_8942

RÉSEAUX, philosophie de l'organisation

  • Écrit par 
  • Gabriel DUPUY
  •  • 7 344 mots
  •  • 3 médias

Dans le chapitre « La science des réseaux au XXe siècle : de l'électricité à l'informatique »  : […] Enfin, depuis quelques décennies, la notion d'information réinvestit la vieille métaphore du réseau. C'est d'abord l'image du tissu, des mailles, du filet qui revient au-devant de la scène. Il s'agit bien de liens multiples entre les éléments, hommes ou machines. Mais la nature de ces liens et de la communication qu'ils peuvent établir est […] Lire la suite☛ http://www.universalis.fr/encyclopedie/reseaux-philosophie-de-l-organisation/#i_8942

SHANNON CLAUDE ELWOOD (1916-2001)

  • Écrit par 
  • Frédéric GAUTHIER
  •  • 909 mots

Né le 30 avril 1916 à Gaylord (Michigan, États-Unis), Claude Elwood Shannon est considéré par l'ensemble de la communauté scientifique comme le père fondateur de la théorie de l'information et des communications numériques […] Lire la suite☛ http://www.universalis.fr/encyclopedie/claude-elwood-shannon/#i_8942

FINALITÉ

  • Écrit par 
  • Raymond RUYER
  •  • 6 602 mots

Dans le chapitre « La création de formes »  : […] connaissent ce mode de différenciation progressive par implication, malgré quelques simplifications secondaires. En d'autres termes, l'action finaliste est créatrice d'information, de négentropie, même si elle accroît globalement l'entropie par ses machines auxiliaires. Elle est capable de remonter localement le courant de désordre. Plus […] Lire la suite☛ http://www.universalis.fr/encyclopedie/finalite/#i_8942

ENTROPIE

  • Écrit par 
  • Bernard DIU
  •  • 1 360 mots
  •  • 1 média

Dans le chapitre « L'entropie statistique »  : […] lequel des N événements peut se réaliser, certains ayant toutefois, en général, plus de chances de le faire que d'autres. La théorie de l'information, développée depuis les travaux de Claude Shannon et Warren Weaver (1948), propose de mesurer quantitativement le manque d'information par l'entropie statistique S, définie comme S = — k Σ […] Lire la suite☛ http://www.universalis.fr/encyclopedie/entropie/#i_8942

BRILLOUIN LÉON (1889-1969)

  • Écrit par 
  • André GUINIER
  •  • 838 mots

Théorie de l'information. Léon Brillouin a introduit la notion de néguentropie, c'est-à-dire l'entropie changée de signe : pour diminuer l'entropie d'un système isolé, il faut lui fournir de la néguentropie. Il a prouvé l'équivalence de la mesure de la néguentropie et de la […] Lire la suite☛ http://www.universalis.fr/encyclopedie/leon-brillouin/#i_8942

KHINTCHINE ALEXANDRE IAKOVLEVITCH (1894-1959)

  • Écrit par 
  • Universalis
  •  • 290 mots

Mathématicien soviétique, né à Kondrovo et mort à Moscou, membre correspondant de l'Académie des sciences de l'U.R.S.S., professeur à l'université de Moscou, prix Staline (1941). Ses premiers travaux concernent la théorie des fonctions d'une variable réelle, où il introduit la notion de dérivée asymptotique, généralise la notion d'intégrale de […] Lire la suite☛ http://www.universalis.fr/encyclopedie/alexandre-iakovlevitch-khintchine/#i_8942

PSYCHOLOGIE HISTOIRE DE LA

  • Écrit par 
  • Serge NICOLAS
  •  • 4 964 mots
  •  • 2 médias

Dans le chapitre « La révolution cognitive »  : […] énormément accélérer son mouvement au détriment du courant béhavioriste. Les cognitivistes vont s’appuyer sur la théorie de l’information (Turing, Shannon, Weaver) et le concept de traitement de l’information, considérant que nous sommes avant tout des ordinateurs perfectionnés et que nous fonctionnons selon des principes de calcul. Et cette […] Lire la suite☛ http://www.universalis.fr/encyclopedie/histoire-de-la-psychologie/#i_8942

KOLMOGOROV THÉORIE DE LA COMPLEXITÉ DE

  • Écrit par 
  • Jean-Paul DELAHAYE
  •  • 561 mots

notion est séduisante car elle synthétise en un seul nombre plusieurs mesures de complexité dont celle que propose la théorie de l'information de l'Américain Claude Shannon (1916-2001), dont elle est la généralisation. Le revers de la médaille de cette généralité de la complexité de Kolmogorov est son lien avec les théorèmes d'incomplétude de l' […] Lire la suite☛ http://www.universalis.fr/encyclopedie/theorie-de-la-complexite-de-kolmogorov/#i_8942

COGNITION

  • Écrit par 
  • Chrystel BESCHE-RICHARD, 
  • Raymond CAMPAN
  •  • 2 620 mots

Dans le chapitre « Intelligence artificielle et sciences cognitives »  : […] psychologie comportementale refusait de s'intéresser. Analyser les phénomènes internes de « traitement de l'information » qui opèrent entre la venue d'un stimulus et la réponse produite par l'individu n'inscrit pas pour autant l'étude de la cognition dans le champ de la subjectivité. Cette prospection consiste à décomposer, à partir de situations […] Lire la suite☛ http://www.universalis.fr/encyclopedie/cognition/#i_8942

Voir aussi

Pour citer l’article

Jean-Paul DELAHAYE, Étienne KLEIN, Henri ATLAN, « INFORMATION THÉORIE DE L' », Encyclopædia Universalis [en ligne], consulté le 20 octobre 2017. URL : http://www.universalis.fr/encyclopedie/theorie-de-l-information/