INFORMATION THÉORIE DE L'

Carte mentale

Élargissez votre recherche dans Universalis

Quand on parle d'information, on pense souvent « information ayant une certaine valeur », ou « information pouvant servir à... ». Existe-t-il une théorie générale de l'information ? La théorie de l'information de Shannon (1949) a souvent été présentée comme cette théorie attendue. On admet aujourd'hui que les résultats qui en ont été tirés en biologie ou en informatique ne sont pas à la mesure des ambitions annoncées. Une seconde théorie de l'information, dite théorie algorithmique de l'information et due indépendamment à Andreï Kolmogorov et Gregory Chaitin (1965), se fonde sur la théorie du calcul d'Alan Turing (1936). Nous allons voir que ces deux théories sont liées l'une à l'autre.

Les exemples suivants de suites de caractères contenant de l'information doivent faire réfléchir : (a) la suite des caractères du texte du roman Les Misérables de Victor Hugo ; (b) la liste des emplacements des lance-missiles américains ; (c) une table de logarithmes ; (d) le génome complet d'un virus ; (e) un disque compact avec les concertos pour piano de Chopin ; (f) le programme du traitement de texte utilisé par l'auteur pour écrire cet article, tel qu'il est dans la mémoire de son ordinateur ; (g) le programme de ce même traitement de texte avant qu'il n'ait été compilé, qu'on appelle « programme source ».

Dans chaque cas, il s'agit d'objets possédant un contenu en information et ayant une certaine valeur : ils ont pu être vendus et achetés, on a dépensé de l'argent pour les produire, on continue d'en dépenser pour les conserver. Le contenu brut d'information pour chacun de ces objets est donné par le nombre de bits (éléments de mémoire binaire, 0 ou 1) nécessaires pour enregistrer la chaîne de caractères dans la mémoire d'un ordinateur quand on ne lui fait subir aucun traitement particulier. Le contenu brut d'information d'une chaîne de caractères s de longueur n est n si s ne comporte que des 0 et des 1 et c'est n log m /log 2 si la chaîne comporte des caractères pris parmi m. Dans nos exemples, l'objet ayant le contenu brut d'information le plus grand est le disque compact. [...]

1 2 3 4 5

pour nos abonnés,
l’article se compose de 5 pages




Écrit par :

  • : professeur émérite de biophysique aux universités de Paris-VI-Pierre-et-Marie-Curie et de Jérusalem, directeur d'études à l'École des hautes études en sciences sociales, Paris, directeur du Centre de recherches en biologie humaine, hôpital Hadassah, Jérusalem (Israël)
  • : professeur à l'université des sciences et technologies de Lille
  • : physicien au Commissariat à l'énergie atomique

Classification


Autres références

«  INFORMATION THÉORIE DE L'  » est également traité dans :

BRILLOUIN LÉON (1889-1969)

  • Écrit par 
  • André GUINIER
  •  • 839 mots

Le père et le grand-père de Léon Brillouin ont été professeurs de physique au Collège de France. Après ses études à l'École normale supérieure, il a passé un an auprès de A. Sommerfeld, à Munich. Pendant la Première Guerre mondiale, il est affecté au laboratoire « de T.S.F. » du général Ferrié, où il rencontre Maurice et Louis de Broglie. Après la guerre, il est professeur à l'École supérieure d'é […] Lire la suite☛ http://www.universalis.fr/encyclopedie/leon-brillouin/#i_8942

COGNITION

  • Écrit par 
  • Chrystel BESCHE-RICHARD, 
  • Raymond CAMPAN
  •  • 2 620 mots

Dans le chapitre « Intelligence artificielle et sciences cognitives »  : […] Vers le milieu du xx e  siècle, l'invention des premiers ordinateurs programmables et la cybernétique amènent à considérer ensemble le cerveau, l'esprit et la machine. L'intelligence artificielle offre des outils conceptuels, des méthodes et des machines à des disciplines très différentes. Si les neurosciences, la psychologie, la linguistique ou […] Lire la suite☛ http://www.universalis.fr/encyclopedie/cognition/#i_8942

COGNITIVES SCIENCES

  • Écrit par 
  • Daniel ANDLER
  •  • 19 239 mots
  •  • 4 médias

Dans le chapitre « Phase I (1950-1970) : l'émergence »  : […] Revenons aux États-Unis. La première cybernétique nous conduit directement à la fondation des sciences cognitives : la dernière conférence Macy se tient à Princeton en 1953, date à laquelle, par coïncidence, se tient un séminaire de huit semaines au cours duquel les objectifs et la dénomination d'une nouvelle discipline sont définis : il s'agit de la psycholinguistique, branche emblématique du cou […] Lire la suite☛ http://www.universalis.fr/encyclopedie/sciences-cognitives/#i_8942

COMMUNICATION

  • Écrit par 
  • Yves WINKIN
  •  • 4 805 mots

Dans le chapitre « Une théorie mathématique de la communication »  : […] Pendant la Seconde Guerre mondiale, nombre d'équipes de recherches civiles se constituent aux États-Unis autour de thématiques précises. C'est ainsi qu'un groupe de chercheurs se rassemble au Massachusetts Institute of Technology (M.I.T.) autour de Claude Shannon, un spécialiste des théories mathématiques de l'information, pour repenser la transmission télégraphique. Le télégraphe est en effet […] Lire la suite☛ http://www.universalis.fr/encyclopedie/communication/#i_8942

COMMUNICATION - Les processus de la communication

  • Écrit par 
  • Robert PAGÈS
  •  • 6 240 mots

L'évolution qui a marqué les problèmes de la communication dans le monde contemporain s'inscrit dans la terminologie, elle-même reflet de la conceptualisation. En français comme en anglais, tend à se constituer une opposition entre deux sens du mot « communication » : celui de possibilité de passage ou de transport entre deux points (on parle alors de voies de communication) ; celui de transmissio […] Lire la suite☛ http://www.universalis.fr/encyclopedie/communication-les-processus-de-la-communication/#i_8942

ENTROPIE

  • Écrit par 
  • Bernard DIU
  •  • 1 359 mots
  •  • 1 média

Dans le chapitre « L'entropie statistique »  : […] Intervient dans la formule de Boltzmann le nombre total W d'états microscopiques accessibles lorsque est fixé l'état macroscopique du système. Voilà qui est surprenant : on s'attendait plutôt à ce que l'un de ces états soit réalisé – même s'il est sans doute impossible de savoir lequel –, ce qui exclurait les autres. Ce dilemme est résolu si l'on admet que la description microscopique d'un système […] Lire la suite☛ http://www.universalis.fr/encyclopedie/entropie/#i_8942

FINALITÉ

  • Écrit par 
  • Raymond RUYER
  •  • 6 602 mots

Dans le chapitre « La création de formes »  : […] Toute action finaliste est épigénétique, c'est-à-dire créatrice de formes. Le travail d'« implication », dans le temps et l'espace, est lié à ce caractère épigénétique de la finalité. Une œuvre finaliste en cours va se différenciant de plus en plus, au sens propre du mot. Il y apparaît (épi-genèse) des différences, dans l'ébauche, d'abord simple et homogène, qui ne se borne donc pas à fonctionner […] Lire la suite☛ http://www.universalis.fr/encyclopedie/finalite/#i_8942

FORME

  • Écrit par 
  • Jean PETITOT
  •  • 27 547 mots

Dans le chapitre « Phénoménologie, gestalt-théorie et écologisme »  : […] Nombre d'auteurs ont remarqué que la déréalisation du phénomène par réduction phénoménologique soulève d'inextricables difficultés lorsqu'il s'agit pour Husserl d'en revenir à la réalité physique. La reprise de l'ontologie aristotélicienne dans un cadre post-galiléen aboutit à une incompréhension radicale des sciences naturelles objectives. Entre les deux constitutions transcendantales, l'une d'u […] Lire la suite☛ http://www.universalis.fr/encyclopedie/forme/#i_8942

INFORMATION GÉNÉTIQUE

  • Écrit par 
  • Henri ATLAN
  •  • 6 223 mots
  •  • 1 média

Dans le chapitre « Codage génétique et biosynthèse des protéines »  : […] Les caractères héréditaires « visibles », mais aussi toutes les propriétés d'un organisme sont déterminés, au niveau de la biochimie cellulaire, par des réseaux de réactions physico-chimiques, dont chacune est catalysée par une enzyme spécifique. Telle ou telle réaction est« branchée » ou « débranchée » suivant que l'enzyme responsable est ou non présente sous une forme active. Les enzymes sont de […] Lire la suite☛ http://www.universalis.fr/encyclopedie/information-genetique/#i_8942

JEUX THÉORIE DES

  • Écrit par 
  • Bernard GUERRIEN
  •  • 8 066 mots

Dans le chapitre « Les hypothèses sur l'information  »  : […] La plupart des modèles de théorie des jeux supposent qu'il y a information complète  : chacun connaît ses stratégies et celles des autres, leurs caractéristiques et leurs motivations, ainsi que les diverses issues possibles du jeu (avec les gains correspondants). En résumé, chacun sait tout sur tout, y compris que les autres savent qu'il sait, qu'il sait qu'ils savent, etc. : […] Lire la suite☛ http://www.universalis.fr/encyclopedie/theorie-des-jeux/#i_8942

KHINTCHINE ALEXANDRE IAKOVLEVITCH (1894-1959)

  • Écrit par 
  • Universalis
  •  • 290 mots

Mathématicien soviétique, né à Kondrovo et mort à Moscou, membre correspondant de l'Académie des sciences de l'U.R.S.S., professeur à l'université de Moscou, prix Staline (1941). Ses premiers travaux concernent la théorie des fonctions d'une variable réelle, où il introduit la notion de dérivée asymptotique, généralise la notion d'intégrale de Denjoy et étudie la structure des fonctions mesurables […] Lire la suite☛ http://www.universalis.fr/encyclopedie/alexandre-iakovlevitch-khintchine/#i_8942

KOLMOGOROV THÉORIE DE LA COMPLEXITÉ DE

  • Écrit par 
  • Jean-Paul DELAHAYE
  •  • 561 mots

La théorie de la complexité de Kolmogorov d'une suite numérique S est définie comme la taille, K(S), du plus court programme P qui, confié à une machine universelle (tout ordinateur contemporain en est une), produit la suite S. Cette notion est séduisante car elle synthétise en un seul nombre plusieurs mesures de complexité dont celle que propose la théorie de l'information de l'Américain Claude […] Lire la suite☛ http://www.universalis.fr/encyclopedie/theorie-de-la-complexite-de-kolmogorov/#i_8942

PSYCHOLOGIE HISTOIRE DE LA

  • Écrit par 
  • Serge NICOLAS
  •  • 4 964 mots
  •  • 2 médias

Dans le chapitre « La révolution cognitive »  : […] Les psychologues cognitivistes vont s’intéresser aux activités mentales complexes et au contenu de la « boîte noire » béhavioriste, c’est-à-dire aux étapes de traitement entre S et R. C’est dans ce cadre qu‘ils vont proposer les premiers modèles psychologiques majeurs du fonctionnement intellectuel. On peut citer parmi ces modèles celui du Britannique Donald Broadbent (1958) sur l’attention et ce […] Lire la suite☛ http://www.universalis.fr/encyclopedie/histoire-de-la-psychologie/#i_8942

RÉSEAUX, philosophie de l'organisation

  • Écrit par 
  • Gabriel DUPUY
  •  • 7 343 mots
  •  • 3 médias

Dans le chapitre « La science des réseaux au XXe siècle : de l'électricité à l'informatique »  : […] Hors des domaines précités, champs historiques d'application du concept de plus en plus larges (par exemple, on passe aisément des réseaux de chemins de fer aux réseaux de tramways et aux réseaux d'autobus, des réseaux d'eau aux réseaux de gaz, d'éclairage public, d'air comprimé, de chauffage urbain, etc.), on peut citer des secteurs de connaissance plus particuliers où le concept du réseau s'est […] Lire la suite☛ http://www.universalis.fr/encyclopedie/reseaux-philosophie-de-l-organisation/#i_8942

SHANNON CLAUDE ELWOOD (1916-2001)

  • Écrit par 
  • Frédéric GAUTHIER
  •  • 909 mots
  •  • 1 média

Né le 30 avril 1916 à Gaylord (Michigan, États-Unis), Claude Elwood Shannon est considéré par l'ensemble de la communauté scientifique comme le père fondateur de la théorie de l'information et des communications numériques. En 1940, il obtient un master en ingénierie électrique et un doctorat en mathématique du Massachusetts Institute of Technology (M.I.T.). Pour son […] Lire la suite☛ http://www.universalis.fr/encyclopedie/claude-elwood-shannon/#i_8942

TEMPS

  • Écrit par 
  • Hervé BARREAU, 
  • Olivier COSTA DE BEAUREGARD
  •  • 14 773 mots

Dans le chapitre « Information et entropie »  : […] Notre ultime discussion sur l'irréversibilité sera plus philosophique et portera sur la relation entre information et entropie (cf. entropie , chap. 3). La définition technique d'une information est la même que celle d' une entropie changée de signe (ou néguentropie : « moins » le logarithme d'une probabilité). Bien que sa définition soit récente, il est clair après coup […] Lire la suite☛ http://www.universalis.fr/encyclopedie/temps/#i_8942

TRANSFERT, psychanalyse

  • Écrit par 
  • Pierre KAUFMANN
  •  • 3 158 mots

Dans le chapitre « Transfert d'apprentissage et transfert psychanalytique »  : […] Dans un travail publié en 1960, et portant sur l'étude de l'utilisation de l'information dans l'apprentissage, Jean-François Richard apporte à cette discussion des éléments de comparaison d'autant plus précieux qu'ils se situent strictement sur le terrain de la méthodologie expérimentale. Mis en évidence par Weber sur l'expérience de la facilitation bilatérale (une tâche exécutée de la main droit […] Lire la suite☛ http://www.universalis.fr/encyclopedie/transfert-psychanalyse/#i_8942

VIE

  • Écrit par 
  • Georges CANGUILHEM
  •  • 10 960 mots

Dans le chapitre « La vie comme information »  : […] Si l'on entend par cybernétique une théorie générale des opérations contrôlées, exécutées par des machines montées de façon telle que leurs effets ou leurs produits soient conformes à des normes fixées ou ajustés à des situations instables, on conviendra qu'il était normal que les régulations organiques, et avant tout celles qu'assure le système nerveux, deviennent un jour le modèle de ces machine […] Lire la suite☛ http://www.universalis.fr/encyclopedie/vie/#i_8942

Voir aussi

Pour citer l’article

Henri ATLAN, Jean-Paul DELAHAYE, Étienne KLEIN, « INFORMATION THÉORIE DE L' », Encyclopædia Universalis [en ligne], consulté le 09 septembre 2019. URL : http://www.universalis.fr/encyclopedie/theorie-de-l-information/